[論文レビュー] BiKC+: Bimanual Hierarchical Imitation with Keypose-Conditioned Coordination-Aware Consistency Policies

Hang Xu, Yizhou Chen+3 more|arXiv (Cornell University)|Jan 17, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

BiKC+は、キーポーズ予測器と一貫性モデルベースの軌道生成器を用いた階層的模倣学習フレームワークを提案し、ワンステップ推論と協調認識型のサブゴール指示を実現する。

ABSTRACT

Robots are essential in industrial manufacturing due to their reliability and efficiency. They excel in performing simple and repetitive unimanual tasks but still face challenges with bimanual manipulation. This difficulty arises from the complexities of coordinating dual arms and handling multi-stage processes. Recent integration of generative models into imitation learning (IL) has made progress in tackling specific challenges. However, few approaches explicitly consider the multi-stage nature of bimanual tasks while also emphasizing the importance of inference speed. In multi-stage tasks, failures or delays at any stage can cascade over time, impacting the success and efficiency of subsequent sub-stages and ultimately hindering overall task performance. In this paper, we propose a novel keypose-conditioned coordination-aware consistency policy tailored for bimanual manipulation. Our framework instantiates hierarchical imitation learning with a high-level keypose predictor and a low-level trajectory generator. The predicted keyposes serve as sub-goals for trajectory generation, indicating targets for individual sub-stages. The trajectory generator is formulated as a consistency model, generating action sequences based on historical observations and predicted keyposes in a single inference step. In particular, we devise an innovative approach for identifying bimanual keyposes, considering both robot-centric action features and task-centric operation styles. Simulation and real-world experiments illustrate that our approach significantly outperforms baseline methods in terms of success rates and operational efficiency. Implementation codes can be found at https://github.com/JoanaHXU/BiKC-plus.

研究の動機と目的

• 産業現場における二腕・多段操作の課題を動機付け、対処する。
• 分布的に多モーダルなデモンストレーションを扱う階層的模倣学習フレームワークを開発する。
• ロボット中心とタスク中心の手掛かりを統合する三段階の二腕キーポーズ識別パイプラインを導入する。
• Consistency Modelsに基づく高レベルのキーポーズ予測器と低レベルのワンステップ軌道生成器を設計する。
• シミュレーションと実世界の実験で成功率と効率の改善を示す。

提案手法

• 高レベルのキーポーズ予測器と低レベルの一貫性モデル軌道生成器を組み合わせた二層アーキテクチャを実装する。
• キーポーズ予測子をCMベースのキーポーズヘッドとモード分類ヘッドを備えたデュアルヘッドネットワークとして定式化する。
• 低レベルポリシーをScratchで訓練されたConsistency Modelとして定義し、観測とターゲットキーポーズに条件付けられた行動列のワンステップ推論を可能にする。
• 三段階パイプラインで二腕キーポーズデータセットを構築する：単腕キーポーズ抽出、VLM支援の接触グラフを用いた協調モード識別、協調駆動のキーポーズ統合。
• VLM由来の接触グラフと三つの協調原則を用いて二腕協調モードを識別し、必要に応じてのみ同期を行う。
• 協調駆動の統合戦略を用いて協調モード時には同期されたキーポーズを作成し、非協調モード時には独立性を維持する。

実験結果

リサーチクエスチョン

• RQ1 キーポーズ条件付き階層は二腕の多段タスクにおける信頼性と速度を向上させるか。
• RQ2 協調認識の統合とVLM支援の接触理解は協調モード間で有効なキーポーズをどのように特定するか。
• RQ3 Scratchで訓練されたConsistency Modelは二腕操作の高速で高品質なワンステップ軌道を提供するか。
• RQ4 BiKC+は現実世界の二腕タスクでベースライン手法と比較してどのように性能を発揮するか。

主な発見

• BiKC+はターゲットキーポーズを予測して低レベルの動作を導くことで、各ステージの信頼性を向上させる。
• 低レベルのConsistency Modelはワンステップ推論を可能にし、反復的な拡散法より推論速度を向上させる。
• 協調駆動の統合は非協調モードでの腕の自律性を維持しつつ、協調モードでは同期を強制する。
• VLM支援の接触認識により協調モードの自動識別が可能となり、キーポーズ学習のデータセット品質が向上する。
• 実験はシミュレーションと実世界の両方で全体的な成功率と運用効率の大幅な向上を示す。