[論文レビュー] EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning

Jingyun Yang, Ziang Cao+4 more|arXiv (Cornell University)|Jul 1, 2024

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

EquiBotは、幾何学的に整合性のあるニューラルアーキテクチャを用いてスケール、回転、並進に対する不変性を強制することで、SIM(3)に等長な拡散方策を提案し、ロボット操作におけるデータ効率性と一般化性能を画期的に向上させた。わずか5分間のヒューマンデモで訓練された本手法は、シミュレーションおよび現実世界のモバイル操作タスクにおいて、未観測の物体、姿勢、シーンに対しても堅牢に一般化する。

ABSTRACT

Building effective imitation learning methods that enable robots to learn from limited data and still generalize across diverse real-world environments is a long-standing problem in robot learning. We propose Equibot, a robust, data-efficient, and generalizable approach for robot manipulation task learning. Our approach combines SIM(3)-equivariant neural network architectures with diffusion models. This ensures that our learned policies are invariant to changes in scale, rotation, and translation, enhancing their applicability to unseen environments while retaining the benefits of diffusion-based policy learning such as multi-modality and robustness. We show on a suite of 6 simulation tasks that our proposed method reduces the data requirements and improves generalization to novel scenarios. In the real world, with 10 variations of 6 mobile manipulation tasks, we show that our method can easily generalize to novel objects and scenes after learning from just 5 minutes of human demonstrations in each task.

研究の動機と目的

• 現実世界のロボット操作における模倣学習のデータ非効率性と一般化性能の低さという課題に取り組む。
• データ拡張に依存するか、未学習の物体スケール、回転、並進に一般化できない既存手法の限界を克服する。
• 最小限のデモデータで、多様で分布外のシナリオにおいても堅牢なパフォーマンスを維持するビジュオモーター方策を開発する。
• 等長性と拡散方策学習を統合し、マルチモーダルでクローズドループの行動生成を可能にし、サンプル効率を向上させる。

提案手法

• スケール、回転、並進の変換に対して出力が一貫して変化するように保証するSIM(3)に等長なニューラルネットワークアーキテクチャを設計する。
• 等長アーキテクチャを拡散方策フレームワークに統合し、マルチモーダルで頑健な行動シーケンス予測を可能にする。
• シーンの点群とロボットのプロプライオセプションを入力とし、シーン解析のためのGrounded SAMによるオブジェクトセグメンテーションを活用する。
• ヒューマンデモ動画を用いてエンドツーエンドで訓練し、幾何的変換によるデータ拡張を活用して耐性を向上させる。
• 8ステップの行動シーケンスを3 Hzで出力するモーション予測ヘッドを適用し、モバイルマニピュレータでのリアルタイム実行を可能にする。
• 等長性を活用して、明示的なデータ拡張なしに未観測の物体スケール、方向、位置に暗黙的に一般化する。

実験結果

リサーチクエスチョン

• RQ1 拡散方策アーキテクチャにおけるSIM(3)に等長な性質が、ロボット操作におけるデータ効率性とゼロショット一般化を顕著に向上させることができるか？
• RQ2 等長性は、学習分布外の物体スケール、回転、並進に一般化する能力をどの程度向上させるか？
• RQ3 等長性と拡散モデリングの組み合わせは、現実世界の展開において、ベースラインの模倣学習法や非等長な拡散方策と比較して、どのように優れているか？
• RQ4 1つの方策が、変形可能でかつアーチキテクチャ的な物体を含む多様な家庭内タスクにおいて、最小限のデモで一般化可能か？
• RQ5 等長性の強制は、対称性群のインダクティブバイアスを超えて、より一般化可能な特徴表現をもたらすか？

主な発見

• EquiBotは、シミュレーションおよび現実世界の両方で、ベースラインの拡散方策や先行の等長な模倣学習手法を上回る画期的なパフォーマンスを達成した。
• 現実世界の実験では、わずか5分間のヒューマンデモデータで、新規の物体やシーン構成に成功して一般化した。
• 本手法は、未学習の物体の姿勢、スケール、シーン構成を含む分布外のシナリオに対しても一般化でき、ベースラインより高い成功確率を示した。
• 明示的にそれらの変化に訓練されていないにもかかわらず、非一様スケーリングやオブジェクトダイナミクスの変化など、SIM(3)を超える幾何的変化に対しても、モデルは頑健であることが示された。
• SIM(3)に等長な性質と拡散モデリングの組み合わせにより、マルチモーダルな行動生成とアイドルアクションが可能になり、方策の頑健性が向上した。
• 定量的評価では、さまざまなテスト条件下で6つの現実世界のモバイルマニピュレーションタスク（椅子の押しだす、スーツケースの閉じる、タオルを畳むなど）において一貫した成功が確認された。