[論文レビュー] Dynamics Learning with Cascaded Variational Inference for Multi-Step Manipulation

Kuan Fang, Yuke Zhu+3 more|arXiv (Cornell University)|Oct 29, 2019

Robot Manipulation and Learning参考文献 27被引用数 21

ひとこと要約

本論文は、段階的変分推論を用いて階層的・分離された表現を学習する要因分解型ダイナミクスプランナーフレームワーク（FDP）を提案する。このモデルは、高レベルのダイナミクス（計画）と低レベルの行動サンプリングを分離することで、視覚的観測からの複雑なマルチオブジェクト相互作用と推論を必要とする長時間スケールのロボット操作タスクにおいて、Visual MPC、CVAE-SBMP、SeCTARといったベースラインと比較して優れた成功確率を達成し、長時間スケールの推論性能を向上させる。

ABSTRACT

The fundamental challenge of planning for multi-step manipulation is to find effective and plausible action sequences that lead to the task goal. We present Cascaded Variational Inference (CAVIN) Planner, a model-based method that hierarchically generates plans by sampling from latent spaces. To facilitate planning over long time horizons, our method learns latent representations that decouple the prediction of high-level effects from the generation of low-level motions through cascaded variational inference. This enables us to model dynamics at two different levels of temporal resolutions for hierarchical planning. We evaluate our approach in three multi-step robotic manipulation tasks in cluttered tabletop environments given high-dimensional observations. Empirical results demonstrate that the proposed method outperforms state-of-the-art model-based methods by strategically interacting with multiple objects.

研究の動機と目的

• 視覚的観測からの複雑なマルチオブジェクト相互作用と推論を必要とする長時間スケールのロボット操作タスクの課題に対処すること。
• ダイナミクスと行動の分離表現を学習することで、マルチステージタスクにおけるサンプル効率と計画精度を向上させること。
• 高レベルのダイナミクスと行動サンプリングを分離した階層的生成モデルを構築し、より良い一般化性能と制御可能性を実現すること。
• 動的制約とスパarselyリワードな状況を伴う3つの複雑なテーブルトップ操作タスクにおいて、モデルの評価を行うこと。
• 反事後正則化の影響をアブレーションすることで、ロバストネスとゼロショット一般化性能の向上に寄与するかを検証すること。

提案手法

• 2つの潜在変数（$c$：高レベルのダイナミクス（計画）、$z$：低レベルの行動サンプリング）を用いた段階的変分推論フレームワークを採用する。
• 条件付きVAEを用いて、結合分布 $p(s_{t+1}, a_t | s_t, c)$ をモデル化し、将来の状態と行動の分離生成を可能にする。
• 訓練中に多様で現実的な軌道を促進することでロバストネスを向上させる反事後正則化（CFR）を導入する。
• スケーラブルな推論を可能にするアモアタイズド推論を用いた変分下界（ELBO）を用いて、モデルをエンドツーエンドで訓練する。
• 視覚的観測の特徴を両方の潜在変数 $c$ と $z$ に共通して抽出するエンコーダーを共有し、計画と行動生成の整合性を保証する。
• 両方の状態と行動が同じ潜在コード $c$ に条件付けられる自己整合的軌道生成プロセスを適用し、長時間スケール計画における一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのベースラインと比較して、分離的・階層的変分推論モデルは、マルチステップ操作タスクにおける長時間スケール計画性能を向上させることができるか？
• RQ2 反事後正則化は、未確認のタスク設定において、計画者のロバストネスと一般化性能をどのように向上させるか？
• RQ3 ダイナミクスモデリングと行動サンプリングの分離は、複雑なマルチオブジェクト環境におけるサンプル効率と成功確率をどの程度向上させるか？
• RQ4 Visual MPC、CVAE-SBMP、SeCTARといった最先端手法と比較して、FDPモデルの成功確率と計画多様性はどの程度優れているか？
• RQ5 64次元の潜在空間（$c$ に32次元、$z$ に32次元）は、効果的な計画を実現するのに十分な容量を有しており、同時に分離性を維持できるか？

主な発見

• FDPモデルは、すべての3つのタスク（Clearing、Insertion、Crossing）において、Visual MPC、CVAE-SBMP、SeCTARと比較して高い成功確率を達成した。
• アブレーションスタディの結果、反事後正則化を除去すると性能が著しく低下し、そのロバストネスと一般化性能向上における役割が裏付けられた。
• 未確認のタスク設定へのゼロショット一般化性能が優れており、特にランダムなブリッジレイアウトを有するCrossingタスクで顕著に顕著であった。
• 分離された $c$ と $z$ の潜在変数の使用により、多様な初期状態において一貫した軌道生成が可能となり、より解釈可能で制御可能な計画が実現された。
• サンプル効率が高く、ベースライン手法よりも少ないロールアウト回数で効果的な長時間スケール計画を生成した。
• 64次元の潜在空間（32+32）を用いたアブレーションでは、同じ合計次元数を有するモデルと同等またはそれ以上の性能を示し、分離設計の妥当性が裏付けられた。