[論文レビュー] Generative Skill Chaining: Long-Horizon Skill Planning with Diffusion Models

Utkarsh A. Mishra, Shangjie Xue+2 more|arXiv (Cornell University)|Oct 13, 2023

Robot Manipulation and Learning被引用数 5

ひとこと要約

生成的スキルチェイニング（GSC）は、スキル中心の拡散モデルを用いた確率的フレームワークを導入し、並列に学習された分布を組み合わせることで、長時間スケールの操作計画を生成する。これにより、シミュレーションおよび実機ロボットハードウェアにおいて、制約を考慮した効率的で一般化性が高く、再計画が可能な計画が可能になる。

ABSTRACT

Long-horizon tasks, usually characterized by complex subtask dependencies, present a significant challenge in manipulation planning. Skill chaining is a practical approach to solving unseen tasks by combining learned skill priors. However, such methods are myopic if sequenced greedily and face scalability issues with search-based planning strategy. To address these challenges, we introduce Generative Skill Chaining~(GSC), a probabilistic framework that learns skill-centric diffusion models and composes their learned distributions to generate long-horizon plans during inference. GSC samples from all skill models in parallel to efficiently solve unseen tasks while enforcing geometric constraints. We evaluate the method on various long-horizon tasks and demonstrate its capability in reasoning about action dependencies, constraint handling, and generalization, along with its ability to replan in the face of perturbations. We show results in simulation and on real robot to validate the efficiency and scalability of GSC, highlighting its potential for advancing long-horizon task planning. More details are available at: https://generative-skill-chaining.github.io/

研究の動機と目的

• 複雑なサブタスク依存関係や大きな探索空間がスケーラビリティを妨げる長時間スケールのタスク計画の課題に対処すること。
• 計算コストが高く、一般化能力に欠けるグリーディーや探索ベースのスキルチェイニング手法の限界を克服すること。
• スキル遷移の生成モデルを用いて、未知のタスクに対して効率的でスケーラブルかつ制約を考慮した計画を可能にすること。
• 閉ループ計画とシーン再構築を通じて、摂動に対する耐性を高め、実世界への展開を支援すること。
• スキル学習をタスク固有の計画から分離し、テスト時に組み立て可能な汎用的スキル拡散モデルを訓練すること。

提案手法

• 専用のスキル拡散モデルを訓練し、エキスパートデモデータを用いて、事前条件、スキルパラメータ、効果（すなわち、状態遷移）の同時分布を学習する。
• 推論時に訓練済みのスキル拡散モデルを線形チェインに組み合わせ、初期状態とゴールに条件付けられた完全なスキルシーケンスを生成する。
• 分類器ベースのガイドにより、サンプリング中に幾何的およびタスク制約を強制し、実行可能性とゴール達成を保証する。
• すべてのスキルモデルを並列にサンプリングすることで、グリーディーな逐次計画を回避し、候補計画の効率性と多様性を向上させる。
• 個々のスキルの成功確率の積を用いて候補計画をフィルタリングし、最も確率の高い高品質な解決策を選択する。
• 実時間の状態更新後に再計画を実行するリアルタイムの閉ループシステムを、実機ロボットハードウェアにデプロイする。この際、AprilTagを用いたリアルからシミュレーションへのシーン再構築を活用する。

Figure 1: (Top) Generative Skill Chaining (GSC) aims to solve a long-horizon task for a given sequence of skills by using linear probabilistic chains to parallelly sample from a joint distribution of multiple skill-specific transitions $q_{\pi}(\textbf{s},\textbf{a},\textbf{s}^{\prime})$ learned usi

実験結果

リサーチクエスチョン

• RQ1 スキル遷移の生成モデルは、総当たり探索を伴わずに、効率的でスケーラブルかつ一般化可能な長時間スケール計画を可能にするか？
• RQ2 拡散ベースのスキルモデルは、長時間スケールタスクにおけるアクション間の複雑な依存関係をどのように処理し、幾何的制約を効果的に強制するか？
• RQ3 このフレームワークは、未確認のタスクスケルトンにどれほど一般化可能であり、再計画を通じて環境的摂動から回復できるか？
• RQ4 GSCの性能は、判別型またはグリーディーベースラインと比較して、成功確率、計画効率、制約処理の観点でどのように差がつくか？
• RQ5 リアルタイムフィードバックとシーン再推定を伴う実世界のロボットシステムに、このフレームワークは効果的にデプロイ可能か？

主な発見

• GSCは、組み合わせたスキル拡散モデルからのサンプリングと、成功確率指標を用いた複数の候補計画のフィルタリングにより、長時間スケールの操作タスクで高い成功確率を達成する。
• 実世界の実験において、再構築されたシーンを用いた閉ループ再計画により、摂動に対して高い耐性を示す。
• フレンカ・パンドaロボットを用いた実世界デプロイでは、GSCが未確認の物体配置やタスク変化に対しても良好に一般化することが確認された。
• 学習済み分布からの並列サンプリングのおかげで、グリーディーや探索ベースのベースラインに比べ、スケーラビリティと効率性が優れている。
• 分類器ベースのガイドにより、正しい物体配置やツールインタラクションの幾何学的条件の強制が効果的に可能になった。
• このフレームワークは任意のスケルトン計画法と互換性があり、スキル発見や事前学習済みモデルの統合によって、より広範な適用可能性を拡張可能である。

Figure 2: (a) A linear chain graph for a long sequence of transitions and (b) adding an additional constraint node.