[論文レビュー] MIRA: Mental Imagery for Robotic Affordances

Yen-Chen Lin, Pete Florence+7 more|arXiv (Cornell University)|Dec 12, 2022

Robot Manipulation and Learning被引用数 13

ひとこと要約

MIRAは、精神的イメージ（mental imagery）に基づく行動計画にニューラルレイトランスフィールド（NeRFs）を活用する、革新的なロボット推論フレームワークを提案する。これにより、RGB画像のみを用いて6自由度（6-DoF）のロボット操作が可能となり、10回のデモンストレーションでのゼロショット一般化が達成され、鏡面・透明・薄い構造の物体を含む困難な現実世界タスクにおいて、深度センサ依存の手法を上回る性能を発揮する。

ABSTRACT

Humans form mental images of 3D scenes to support counterfactual imagination, planning, and motor control. Our abilities to predict the appearance and affordance of the scene from previously unobserved viewpoints aid us in performing manipulation tasks (e.g., 6-DoF kitting) with a level of ease that is currently out of reach for existing robot learning frameworks. In this work, we aim to build artificial systems that can analogously plan actions on top of imagined images. To this end, we introduce Mental Imagery for Robotic Affordances (MIRA), an action reasoning framework that optimizes actions with novel-view synthesis and affordance prediction in the loop. Given a set of 2D RGB images, MIRA builds a consistent 3D scene representation, through which we synthesize novel orthographic views amenable to pixel-wise affordances prediction for action optimization. We illustrate how this optimization process enables us to generalize to unseen out-of-plane rotations for 6-DoF robotic manipulation tasks given a limited number of demonstrations, paving the way toward machines that autonomously learn to understand the world around them for planning actions.

研究の動機と目的

• 深度センサを用いないで、鏡面・透明・薄い構造の表面を持つ物体に対しても、複雑な6-DoFの操作タスクを実行できるロボットの実現。
• 空間的推論、計画、行動最適化のための、人間のような精神的イメージ能力をロボットに与える。
• アフォーダンスに基づくポリシー学習における2次元トップダウンビューおよび透視投影の限界を克服し、新規ビュー合成と直交投影レンダリングを可能にする。
• わずか10枚のRGBデモンストレーションでのみ、未学習の平面外回転へのサンプル効率の良い一般化を達成する。
• RGBオンリーの認識とNeRFベースの精神的イメージが、鏡面・透明・薄い構造の物体を含む困難な現実世界タスクにおいて、深度センサ依存の手法を上回ることを実証する。

提案手法

• MIRAは、透視射線走査を用いたボリュームレンダリングにより、マルチビューRGB画像から学習したニューラルレイトランスフィールド（NeRFs）を用いて3次元シーン表現を構築する。
• NeRF最適化後、距離に依存しない新規ビューを保持する直交射線走査を実行し、並進等変性を維持する。
• 直交ビューはピクセル単位のアフォーダンスモデルに供給され、ピックアンドプレース操作のための行動価値を予測し、複数の想像上の視点から行動最適化を可能にする。
• フレームワークは、合成されたビューの探索を通じて行動を最適化し、最高スコアのピクセルを選択する。そのピクセルの深度と方位がロボットの6-DoFモーションプリミティブを定義する。
• パイプライン全体は、新規ビュー合成とアフォーダンス予測を閉ループで統合し、反事実的推論と未学習のポーズへの一般化を可能にする。
• インスタント-NGPを用いて効率的な推論を実現し、CUDA最適化された直交射線走査により、ロボットアームや他の干渉要因によるオクルージョンを回避する。

実験結果

リサーチクエスチョン

• RQ1 精神的イメージフレームワークを用いて、新規ビューのシミュレーションを行うことで、RGB画像のみで6-DoFの操作を実行できるか？
• RQ2 ロボットのアフォーダンス予測において、透視投影レンダリングと比較して、直交ビュー合成が行動計画にどのように向上をもたらすか？
• RQ3 わずか10枚のRGBデモンストレーションで学習したNeRFベースのシステムが、平面外回転に対してどの程度一般化できるか？
• RQ4 鏡面・透明・薄い構造の物体を含む困難な現実世界タスクにおいて、RGBオンリーの認識と精神的イメージが、深度センサ依存の手法を上回るか？
• RQ5 NeRFベースの新規ビュー合成とアフォーダンス予測の統合が、ロボット操作におけるサンプル効率と一般化をどの程度向上させるか？

主な発見

• MIRAは、10回の実世界RGBデモンストレーションでのみ、金属の球体をコップに配置するタスクで80％の成功率を達成し、未学習のコップの配置や向きに対しても一般化した。
• 糸を詰め込むタスクでは60％、金属の立方体を詰め込むタスクでは70％の成功率を記録し、深度センサが困難をきたす薄く柔軟性のある、または反射性の高い物体に対しても耐性があることを示した。
• 6-DoFリアレンジメントの拡張版Ravensベンチマークにおいても、深度センサを使用していないにもかかわらず、最先端の手法を上回った。
• 直交射線走査は、訓練中におけるロボットアームのオクルージョンを排除した。これに対して、透視射線走査はアームを捉え、正例ラベルを汚損した。
• システムは未学習の平面外回転に一般化でき、トップダウンや2次元平面内での動作を超えた3次元再配置を必要とする行動を可能にした。
• 失敗事例の主な原因は、NeRFの深度不正確さ（例：空のスロット）や、誤ったピックポイント予測であり、3次元再構築とポリシーの一般化における限界を示している。