[論文レビュー] Reinforcement Learning on Variable Impedance Controller for High-Precision Robotic Assembly

Jianlan Luo, Eugen Solowjow+5 more|arXiv (Cornell University)|Mar 4, 2019

Robot Manipulation and Learning参考文献 38被引用数 20

ひとこと要約

本論文は、力・トルク（F/T）フィードバックと作業空間制御を統合した強化学習（RL）フレームワークを提案し、高精度なロボット組立を実現する。F/T測定値を活用して適応的インピーダンス制御を行うニューラルネットワーク方策を訓練することで、環境の変動に対して強力な汎化性能を発揮し、ベースラインを上回る成功確率を達成するとともに、タイトターミナルのギア組立タスクにおいて人間と同等の力ベースの挿入戦略を示した。

ABSTRACT

Precise robotic manipulation skills are desirable in many industrial settings, reinforcement learning (RL) methods hold the promise of acquiring these skills autonomously. In this paper, we explicitly consider incorporating operational space force/torque information into reinforcement learning; this is motivated by humans heuristically mapping perceived forces to control actions, which results in completing high-precision tasks in a fairly easy manner. Our approach combines RL with force/torque information by incorporating a proper operational space force controller; where we also exploit different ablations on processing this information. Moreover, we propose a neural network architecture that generalizes to reasonable variations of the environment. We evaluate our method on the open-source Siemens Robot Learning Challenge, which requires precise and delicate force-controlled behavior to assemble a tight-fit gear wheel set.

研究の動機と目的

• 従来の制御器が失敗するようなタイトな公差（例：0.1 mm未塔）における高精度ロボット組立の課題に対処すること。
• 作業空間における力・トルクフィードバックを統合することで、接触を伴う操作タスクにおけるサンプル効率と方策性能が向上するかを調査すること。
• F/Tセンサデータを意思決定に明示的に使用することで、局所的な環境変動に汎化可能なニューラルネットワークアーキテクチャを構築すること。
• ヒューリスティックな力制御ルールに依存せずに、RLが自己学習によって適応的コンプライアンス行動を獲得できるかを示すこと。
• ベース位置のずれを模擬するような摂動条件下での汎化能力を評価すること。

提案手法

• 高品質なデモンストレーションのための局所的トラジェクトリーオプティマイザーとして、反復的線形二次ガウス（iLQG）コントローラを採用し、方策の事前学習に使用する。
• ロボット状態とF/Tセンサ読み出しを入力とするニューラルネットワーク方策を設計し、F/Tデータは分布の不整合を避けるために専用の特徴抽出ヘッドを経由して処理する。
• ガイドドポリシーシェア（GPS）を用いて、iLQG方策をグローバルでエンドツーエンド微分可能なニューラルネットワーク方策に蒸留する。
• 作業空間ダイナミクスから導出されるPfaffian制約を統合し、方策の行動空間に物理的整合性を埋め込む。
• 成功はタスクの正しく完了した場合にのみ報酬として与えられるスパarsely denseな報酬形状を用いて方策を学習する。
• ドメインランダマイゼーションと摂動テストを適用し、ベース位置のずれを含む環境下でのロバストネスと汎化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 作業空間制御に力・トルクフィードバックを統合することで、高精度ロボット組立におけるサンプル効率と方策性能が向上するか？
• RQ2 強化学習がヒューリスティックなルールに依存せずに、適応的インピーダンス行動を自己学習で獲得できるか？
• RQ3 F/Tセンサデータの明示的処理が、ベース位置のずれのような局所的環境変動への汎化を可能にするか？
• RQ4 提案されたニューラルネットワークアーキテクチャは、直接F/Tを入力する方法やiLQGベースラインと比較して、摂動下でのロバストネスと成功確率で優れているか？
• RQ5 学習済み方策は、未観測な設定に対しても高精度な性能を維持して汎化できるか？

主な発見

• ベースを1 cmずらした状態でも、本手法は90%（10回中9回）の成功確率を達成し、iLQGベースライン（80%）およびF/T最初の層に接続したベースライン（0%）を上回った。
• 2 cmのずれでは、本手法が80%（10回中8回）の成功を記録したのに対し、iLQGは50%、F/T最初の層ベースラインは0%にとどまった。
• 5 cmのずれでは、本手法が60%（10回中6回）の成功を示したが、iLQGは60%に低下したものの分散が大きく、F/T最初の層ベースラインは完全に失敗した。
• F/Tデータをニューラルネットワークの最初の層に直接入力すると、学習の不安定化（大きなKLダイバージェンス）と、ランダムな運動を示すような悪影響が生じ、構造的なF/T特徴処理の必要性を裏付けた。
• 学習済み方策は、接触フェーズ中に特徴的な力とトルクのピークを示すF/T測定値から、人間と同等の力ベースの挿入パターンを自動で発見した。
• 摂動下でもiLQGよりも本手法の汎化性能が優れており、ゴールベースのLQRやiLQGに比べ、F/T情報の能動的利用が物理的不確実性に柔軟に対応できるロバストな適応を可能にしていることが示された。