[論文レビュー] VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors

Yifeng Zhu, Abhishek Joshi+2 more|arXiv (Cornell University)|Oct 20, 2022

Robot Manipulation and Learning被引用数 12

ひとこと要約

VIOLAは、事前学習済みのオブジェクト候補を用いて因子化された視覚表現を構築し、トランスフォーマー政策によって処理する、ビジョンベースのロボット操作のためのオブジェクト中心の模倣学習フレームワークを提案する。シミュレーションではSOTAベースラインより45.8%高い成功率を達成し、実機でも46.7%高い成功率を示し、視覚的変動やコーヒー作りやテーブルセッティングのような複雑な長時間タスクに対しても頑健であることを示した。

ABSTRACT

We introduce VIOLA, an object-centric imitation learning approach to learning closed-loop visuomotor policies for robot manipulation. Our approach constructs object-centric representations based on general object proposals from a pre-trained vision model. VIOLA uses a transformer-based policy to reason over these representations and attend to the task-relevant visual factors for action prediction. Such object-based structural priors improve deep imitation learning algorithm's robustness against object variations and environmental perturbations. We quantitatively evaluate VIOLA in simulation and on real robots. VIOLA outperforms the state-of-the-art imitation learning methods by $45.8\%$ in success rate. It has also been deployed successfully on a physical robot to solve challenging long-horizon tasks, such as dining table arrangement and coffee making. More videos and model details can be found in supplementary material and the project website: https://ut-austin-rpl.github.io/VIOLA .

研究の動機と目的

• 共変量シフトや環境的摂動にさらされたビジョンベースの操作における模倣学習の頑健性を向上させること。
• オブジェクト中心の表現を活用することで、視覚的要因にタスク関連の注目を向けることができる視覚運動政策を実現すること。
• 事前学習モデルから得られる一般化されたオブジェクト候補を用いることで、高価なオブジェクトアノテーションへの依存を低減すること。
• 実世界の長時間タスクにおいて限られたデモンストレーションから効果的に学習できること。
• アブレーションと実機デプロイメントを通じて、オブジェクト中心の事前知識の有効性を検証すること。

提案手法

• RGB観測から一般化されたオブジェクト候補を生成するために事前学習済みの領域提案ネットワーク（RPN）を用いる。
• 各候補から視覚的および位置的特徴を抽出し、因子化されたオブジェクト中心のシーン表現を構築する。
• オブジェクト表現をトランスフォーマーのエンコーダに入力可能な離散トークンに変換する（マルチヘッド自己注意を備える）。
• タスク関連領域に基づいて行動を予測するように、教師あり模倣学習によりトランスフォーマー政策をエンドツーエンドで訓練する。
• 空間的推論のため、オブジェクト中心表現にグローバルなシーンコンテキストとロボット状態の特徴を統合する。
• 実機評価においては、人為的バイアスを最小限に抑えるためにA/Bテストを採用する。

実験結果

リサーチクエスチョン

• RQ1 一般化されたオブジェクト候補から導出されるオブジェクト中心の表現は、ビジョンベースの模倣学習における一般化性能を向上させるか？
• RQ2 自己注意を備えたトランスフォーマーに基づく政策は、エンドツーエンドモデルと比較して、タスク関連の視覚的要因にどれほど効果的に注目できるか？
• RQ3 オブジェクト候補は、オブジェクト配置の変動、不要な物体、カメラの姿勢変化といった状況下で、どの程度の頑健性を向上させるか？
• RQ4 本手法は、50回のデモンストレーションのみで、長時間の実世界タスクに一般化可能か？
• RQ5 VIOLAアーキテクチャの各構成要素は、アブレーションスタディによって性能にどの程度寄与しているか？

主な発見

• シミュレーションにおいて、VIOLAは複数の摂動設定下でSOTAベースラインであるBC-RNNよりも45.8%高い成功率を達成した。
• 実機では、3つの複雑なタスク（多段階のコーヒー作りを含む）において、BC-RNNを平均で46.7%上回る成功率を示した。
• カメラのズームやジャイターディストラクションといった視覚的変動に対しても、VIOLAは頑健な性能を維持した。一方、エンドツーエンド手法はターゲットオブジェクトに到達できなかった。
• 注目可視化の結果、VIOLAは動的に関連するオブジェクト（例：kカップ、コーヒーマシン）に注目し、ロボット状態を統合して空間的推論を実現していることが確認された。
• アブレーションスタディの結果、オブジェクト候補モジュールとトランスフォーマーポリシーの両方が性能に不可欠であり、それぞれを除去すると成功率が著しく低下した。
• VIOLAは、50回の人のデモンストレーションのみで、食事用テーブルの整列やコーヒー作りといった実世界タスクに成功したのに対し、ベースライン手法は完全に失敗した。