[論文レビュー] RoboDreamer: Learning Compositional World Models for Robot Imagination

Siyuan Zhou, Yilun Du+4 more|arXiv (Cornell University)|Apr 18, 2024

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

RoboDreamerは、自然言語解析を用いて動画生成を要因分解することで、ロボット計画における未観測のオブジェクトとアクションの組み合わせへのゼロショット一般化を可能にする構成的ワールドモデルを導入する。文脈として解析された言語的プリミティブとマルチモーダルなゴール（例：画像、スケッチ）を別々の拡散モデルに条件付けたことで、複雑な指示との優れた整合性を達成し、シミュレーションベースのロボット実行においてモノリシックな動画生成ベースラインを上回る性能を発揮する。

ABSTRACT

Text-to-video models have demonstrated substantial potential in robotic decision-making, enabling the imagination of realistic plans of future actions as well as accurate environment simulation. However, one major issue in such models is generalization -- models are limited to synthesizing videos subject to language instructions similar to those seen at training time. This is heavily limiting in decision-making, where we seek a powerful world model to synthesize plans of unseen combinations of objects and actions in order to solve previously unseen tasks in new environments. To resolve this issue, we introduce RoboDreamer, an innovative approach for learning a compositional world model by factorizing the video generation. We leverage the natural compositionality of language to parse instructions into a set of lower-level primitives, which we condition a set of models on to generate videos. We illustrate how this factorization naturally enables compositional generalization, by allowing us to formulate a new natural language instruction as a combination of previously seen components. We further show how such a factorization enables us to add additional multimodal goals, allowing us to specify a video we wish to generate given both natural language instructions and a goal image. Our approach can successfully synthesize video plans on unseen goals in the RT-X, enables successful robot execution in simulation, and substantially outperforms monolithic baseline approaches to video generation.

研究の動機と目的

• 既存のテキストから動画へのモデルがロボティクス分野で未見のオブジェクトとアクションの組み合わせに対して一般化が不十分であるという問題に対処すること。
• 自然言語指示を空間的および行動的プリミティブに分解することで、動画生成における構成的推論を可能にすること。
• ゴール画像やスケッチを含むマルチモーダルな条件付けへの動画生成の拡張により、より豊かなタスク定義を実現すること。
• シミュレーション内での正確でタスクに整合した動画軌道の生成を通じて、ロボット計画および実行を改善すること。
• 訓練済みの組み合わせを超えて一般化できないモノリシックな動画拡散モデルの限界を克服すること。

提案手法

• 自然言語指示をテキストパーサーを用いて、行動と空間的関係の離散的要素に分解することで、構成的制御を可能にする。
• これらの分解された要素に条件付けられた拡散モデルのセットを用いることで、各モデルが動画の特定の側面（例：オブジェクトの運動、空間的レイアウト）に特化して生成できるようにする。
• ゴール画像やスケッチなどのマルチモーダルなゴールをエンコードし、言語的要素と共同で条件付け、動画生成をガイドする。
• 推論時に、以前に見られなかった言語的およびマルチモーダル入力の組み合わせのゼロショット構成をサポートする。
• 事前学習済みのテキストから動画へのモデルを活用し、生成を解釈可能なコンポONENTに分離するモodularアーキテクチャを用いてファインチューニングする。
• システムはロボット操作データ上でエンドツーエンドに訓練され、推論時に柔軟でマルチモーダル条件付きの動画合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 構成的動画生成フレームワークは、訓練時に見られなかったオブジェクトとアクションの組み合わせにも一般化可能か？
• RQ2 言語指示をプリミティブに分解することで、ロボット動画生成におけるゼロショット一般化がどのように向上するか？
• RQ3 ゴール画像やスケッチなどのマルチモーダル入力は、構成的動画生成パイプラインに効果的に統合可能か？
• RQ4 シミュレーションから実世界へのロボット計画において、RoboDreamerはモノリシックなテキストから動画へのモデルと比較してどの程度優れているか？
• RQ5 言語と視覚的ゴール仕様の両方を条件付けた場合、モデルはどの程度正確でタスクに整合した動画計画を生成できるか？

主な発見

• RoboDreamerは、複雑でマルチモーダルな指示に対して強く整合し、タスク関連の動画計画を生成する点で、UniPi や AVDC などのモノリシックベースラインを著しく上回る性能を発揮した。
• モデルは、訓練時に見られなかった言語的コンポONENTの組み合わせに対しても効果的に一般化し、未確認のオブジェクト・アクションペアに対してゼロショット能力を示した。
• シミュレーション内では、RoboDreamerは未確認のタスクにおいてロボットの成功した実行を可能にし、計画およびポリシー学習における実用性を裏付けた。
• ゴール画像やスケッチの統合により、生成された動画の正確性が向上し、空間的関係の曖昧さが低減された。
• RoboDreamerは、言語的意図と視覚的ゴール構成の両方と一致する動画を生成する点で、ベースラインモデルを上回った。
• モデルは、訓練時に見られなかった言語と画像のペアの組み合わせであっても、新たなマルチモーダル入力に対して堅牢であることが示された。