[論文レビュー] Learning to Compose Hierarchical Object-Centric Controllers for Robotic Manipulation

Mohit Sharma, Jacky Liang+3 more|arXiv (Cornell University)|Nov 9, 2020

Robot Manipulation and Learning被引用数 8

ひとこと要約

本稿では、ロボット操作タスクのための階層的・オブジェクト中心のコントローラーを動的に構成する強化学習（RL）ベースの手法を提案する。環境内のオブジェクトに対して相対的に定義されたタスク軸コントローラーの順序付きシーケンスを学習し、ヌル空間プロジェクションを用いてそれらを合成することで、より高いサンプル効率、未学習環境へのゼロショット一般化、およびファインチューニングなしのシミュレーションから実世界への転送を達成した。4つのシミュレーションおよび実世界タスクで検証された。

ABSTRACT

Manipulation tasks can often be decomposed into multiple subtasks performed in parallel, e.g., sliding an object to a goal pose while maintaining contact with a table. Individual subtasks can be achieved by task-axis controllers defined relative to the objects being manipulated, and a set of object-centric controllers can be combined in an hierarchy. In prior works, such combinations are defined manually or learned from demonstrations. By contrast, we propose using reinforcement learning to dynamically compose hierarchical object-centric controllers for manipulation tasks. Experiments in both simulation and real world show how the proposed approach leads to improved sample efficiency, zero-shot generalization to novel test environments, and simulation-to-reality transfer without fine-tuning.

研究の動機と目的

• モジュラーでオブジェクト中心のコントローラーを用いて、ロボット操作における複数の並列サブタスクの組み合わせを解決すること。
• 手動設計や人間のデモに依存せず、動的で学習可能なコントローラー階層の選択を可能にすること。
• 構造的で階層的なコントローラー構成により、複雑な操作タスクにおけるサンプル効率と一般化性能の向上を図ること。
• ドメインランダマイゼーションやファインチューニングなしで、頑健なシミュレーションから実世界への転送を達成すること。
• オブジェクト相対制御によるインダクティブバイアスを導入し、サイズなどのオブジェクト特性に対するポリシーの不変性を向上させること。

提案手法

• 本手法は、強化学習ポリシーを用いて、特定のオブジェクトまたは幾何的特徴（例：面の法線、オブジェクトへの方向）に対して相対的に定義された低レベルのオブジェクト軸コントローラーの順序付きリストを選択する。
• コントローラーはヌル空間プロジェクションを用いて合成され、優先度の高いコントローラーのヌル空間に優先度の低いコントローラーがプロジェクションされることで干渉を防ぐ。
• アクション空間はコントローラーの階層として構造化されており、位置決めや力の適用といった並列実行可能なサブタスクの実行を可能にする。
• より長いコントローラー実行期間（Tステップ）を許容する拡張されたMDP定式化を用いることで、サンプル効率を向上させる。
• ポリシーはシミュレーションで訓練され、シミュレーションおよび実世界タスク（ブロックフィット、プッシュ、ねじ込み、ドア開閉）で評価される。
• 本手法により、追加のファインチューニングなしで、新しい環境設定へのゼロショット一般化とシミュレーションから実世界への転送が可能になった。

実験結果

リサーチクエスチョン

• RQ1 RLポリシーは、複雑な操作タスクを解消するために、複数のオブジェクト中心コントローラーを動的に組み合わせて学習できるか？
• RQ2 ヌル空間プロジェクションによる階層的構成は、並列で実行されるサブタスク間の干渉を防止できるか？
• RQ3 学習されたコントローラー選択ポリシーは、ファインチューニングなしで新しい環境設定に一般化できるか？
• RQ4 固定または単一コントローラーのポリシーと比較して、本手法はより高いサンプル効率を達成できるか？
• RQ5 ドメインランダマイゼーションやファインチューニングなしで、シミュレーションから実世界への転送が可能か？

主な発見

• 本手法は、シミュレーションにおけるブロックフィットタスクで、30Kステップの訓練曲線で0.99（±0.01）の成功率を達成し、ベースライン（T=10）が要する1000万ステップに比べて著しく高速であった。
• 本手法は、新しいテスト環境設定へのゼロショット一般化を示し、シミュレーションにおけるFrankaドア開閉タスクで1.00の成功率、実世界テストで0.99（±0.01）の成功率を達成した。
• コントローラー選択ポリシーは、異なるオブジェクト間でコントローラーを組み合わせることを学習しており、例えば壁を主な位置決め用に、別の壁を二次的アライメント用に選択した。
• コントローラーのオブジェクト相対性のおかげで、サイズなどのオブジェクト特性の変化に対しても、ポリシーは頑健であった。
• 実ロボットタスク（ねじ込みとドア開閉）において、ファインチューニングなしでシミュレーションから実世界への転送を達成し、それぞれ0.99（±0.01）および0.93（±0.03）の成功率を達成した。
• アブレーションスタディの結果、コントローラー実行期間を延長（T=80）することでサンプル効率が向上した一方、単一コントローラーのポリシーは高Tで著しく性能を発揮しなかった。これは、並列コントローラー構成の重要性を示している。