[論文レビュー] Object-centric Forward Modeling for Model Predictive Control

Yufei Ye, Dhiraj Gandhi+2 more|arXiv (Cornell University)|Oct 8, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 6

ひとこと要約

本稿では、視覚的特徴を暗黙的にもつ空間的に局所化されたオブジェクトとしてのシーン表現を用いるオブジェクト中心の前向きモデルを提案する。このモデルにより、アクション効果や相互作用を正確に予測可能となり、モデル予測制御に補正モジュールを組み合わせることで、シミュレーションおよび実世界のロボット操作タスクにおいて、遠方のゴールを効率的かつロバストに計画する能力が得られ、ピクセル空間や暗黙的ベースラインモデルを上回る性能を発揮する。

ABSTRACT

We present an approach to learn an object-centric forward model, and show that this allows us to plan for sequences of actions to achieve distant desired goals. We propose to model a scene as a collection of objects, each with an explicit spatial location and implicit visual feature, and learn to model the effects of actions using random interaction data. Our model allows capturing the robot-object and object-object interactions, and leads to more sample-efficient and accurate predictions. We show that this learned model can be leveraged to search for action sequences that lead to desired goal configurations, and that in conjunction with a learned correction module, this allows for robust closed loop execution. We present experiments both in simulation and the real world, and show that our approach improves over alternate implicit or pixel-space forward models. Please see our project page (https://judyye.github.io/ocmpc/) for result videos.

研究の動機と目的

• 長期間にわたるロボット計画のための、構造的でオブジェクト中心の表現を用いて、オブジェクト間の相互作用やアクション効果を捉える前向きモデルの開発。
• ピクセル空間や暗黙的表現に基づく前向きモデルと比較して、サンプル効率と予測精度の向上。
• リアルタイム観測を用いて予測を精緻化する学習済み補正モジュールを統合し、モデルの不確実性に対してもロバストなクローズドループ制御を実現。
• シミュレーションおよび実世界のロボット操作環境において、本手法の一般化能力を実証。
• 正確なダイナミクスモデルに依存することを減らすために、ランダムな相互作用データから相互作用に敏感な構造的ワールド表現を学習。

提案手法

• シーンを明示的な空間的位置と暗黙的視覚特徴を持つオブジェクトの集合として表現し、オブジェクトダイナミクスの構造的モデリングを可能にする。
• グラフニューラルネットワークを用いてロボットとオブジェクト間、およびオブジェクト同士の相互作用をモデル化し、アクション下でのオブジェクト状態（位置および特徴）の変化を予測する前向きモデルを学習。
• 目的のゴール構成に到達するようなアクションシーケンスを探索するため、交差エントロピー法（CEM）を用いたモデル予測制御（MPC）を採用。
• 中間観測を用いてオブジェクト状態を再推定する補正モジュールを統合し、クローズドループ実行と誤差補正を可能にする。
• 正確な真値ダイナミクスを必要とせず、ランダムな相互作用データを用いた自己教師付き学習により、モデルを訓練。
• 前向きモデルをTステップにわたり展開し、長期間にわたるアクションシーケンスをシミュレート。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト中心の前向きモデルは、ピクセル空間や暗黙的表現ベースのモデルと比較して、長期間計画の精度を向上させることができるか？
• RQ2 オブジェクト間の相互作用をモデル化することで、ロボット操作タスクにおける予測精度とサンプル効率がどの程度向上するか？
• RQ3 学習済み補正モジュールは、モデルの不確実性に起因する誤差に対して、どの程度クローズドループ実行のロバスト性を向上させるか？
• RQ4 複雑なオブジェクト相互作用や大きな1アクションあたりの運動を伴う実世界環境に対しても、本手法は一般化可能か？
• RQ5 オブジェクト中心表現が持つ構造的インダクティブバイアスは、エンドツーエンドのピクセルベースモデリングと比較して、一般化性能をどのように向上させるか？

主な発見

• 提案されたオブジェクト中心の前向きモデルは、オブジェクトの相互作用や衝突認識を要する状況において、ピクセル空間および暗黙的表現ベースのベースラインを上回る性能を発揮し、長期間計画において優れた性能を示した。
• アブレーションスタディの結果、相互作用ネットワークを削除すると初期段階での進捗は速くなるが、長期的な性能は悪化するため、相互作用のモデリングが重要であることが確認された。
• 補正モジュールにより予測誤差の蓄積が顕著に抑制され、中間観測を用いることで10ステップの展開において誤差が最大50％まで減少した。
• 可視化結果から、モデルが非グリーディで衝突回避のトラジェクトリを学習していることが示され、単純なモデルでは捉えきれないような、例えば1つのオブジェクトを他方の周囲を回るように押すような計画を実現している。
• 実世界実験では、フローベースのベースラインは大きな運動を正しく予測できなかったが、本手法は相互作用モデリングにより正確にオブジェクトの動きを予測した。
• CEMベースのプランナは反復処理を経て最適なトラジェクトリに収束し、エリートアクションシーケンスは明確に障害物を避け、目的に到達していることが確認された。