[論文レビュー] AHA: A Vision-Language-Model for Detecting and Reasoning Over Failures in Robotic Manipulation

Jiafei Duan, Wilbert Pumacay+8 more|arXiv (Cornell University)|Oct 1, 2024

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文では、自由な自然言語による説明を通じてロボット操作の失敗を検出し、推論するオープンソースのビジョン・ランゲージモデルAhaを紹介する。Ahaは、FailGenと呼ばれる手続き的データ拡張パイプラインを用いて生成されたAhaデータセットで訓練されており、平均してGPT-4oを10.3%上回り、3つのロボットフレームワークにおいてタスク成功率を21.4%向上させる。これは強化学習、計画、ゼロショット軌道生成における適応的失敗フィードバックを可能にするためである。

ABSTRACT

Robotic manipulation in open-world settings requires not only task execution but also the ability to detect and learn from failures. While recent advances in vision-language models (VLMs) and large language models (LLMs) have improved robots' spatial reasoning and problem-solving abilities, they still struggle with failure recognition, limiting their real-world applicability. We introduce AHA, an open-source VLM designed to detect and reason about failures in robotic manipulation using natural language. By framing failure detection as a free-form reasoning task, AHA identifies failures and provides detailed, adaptable explanations across different robots, tasks, and environments. We fine-tuned AHA using FailGen, a scalable framework that generates the first large-scale dataset of robotic failure trajectories, the AHA dataset. FailGen achieves this by procedurally perturbing successful demonstrations from simulation. Despite being trained solely on the AHA dataset, AHA generalizes effectively to real-world failure datasets, robotic systems, and unseen tasks. It surpasses the second-best model (GPT-4o in-context learning) by 10.3% and exceeds the average performance of six compared models including five state-of-the-art VLMs by 35.3% across multiple metrics and datasets. We integrate AHA into three manipulation frameworks that utilize LLMs/VLMs for reinforcement learning, task and motion planning, and zero-shot trajectory generation. AHA's failure feedback enhances these policies' performances by refining dense reward functions, optimizing task planning, and improving sub-task verification, boosting task success rates by an average of 21.4% across all three tasks compared to GPT-4 models.

研究の動機と目的

• ロボットがオープンワールドの操作タスクにおける失敗を、二値の失敗検出を越えて、自律的かつ自発的に検出し、推論できるようにすること。
• ロボット分野におけるビジョン・ランゲージモデルのトレーニングに向けたスケーラブルで多様な失敗データの不足に取り組むこと、特に失敗の一般化に焦点を当てる。
• 分類のためのきめ細やかなラベルではなく、自由な推論を用いることで、未観測のロボット、タスク、環境に一般化可能な基盤モデルを開発すること。
• 失敗推論を強化学習、タスク・モーションプランニング、ゼロショット軌道生成などの下流ロボットシステムに統合すること。
• 自然言語ベースの失敗フィードバックが、現実世界およびシミュレーション環境においてポリシーの性能と耐障害性を顕著に向上させることを実証すること。

提案手法

• 79のシミュレーテッドタスクにわたり、多様な失敗モードを生成するために、シミュレーション上での成功デモンストレーション軌道を変更する手続き的データ生成パイプラインであるFailGenを提案する。
• 49K以上の画像-クエリペアを含むAhaデータセットを構築し、多様な失敗タイプ、ロボットの身体的形状、環境の変化をカバーする。
• 失敗検出を自由な推論タスクとして定式化するために、指示微調整を用いてビジョン・ランゲージモデル（Aha-13B）をAhaデータセットで微調整する。
• Ahaを3つのロボットフレームワークに統合する：(1) 強化学習における密度の高い報酬設計、(2) フィードバックループを備えたタスク・モーションプランニング、(3) ゼロショット軌道生成におけるサブタスク検証。
• Ahaから得られる自然言語の説明を活用して報酬関数を最適化し、計画を最適化し、サブタスク検証を向上させ、適応的エラー回復を可能にする。
• 分布外のデータセットおよび現実世界の失敗データを用いたゼロショット評価を実施し、未観測のタスク、ロボット、環境における一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーション上の失敗データのみでトレーニングされたビジョン・ランゲージモデルが、現実世界のロボット失敗および未観測のタスクに効果的に一般化できるか？
• RQ2 失敗検出を自由な推論タスクとして定式化することで、二値分類や固定ラベルアプローチと比較して、解釈可能性と柔軟性が向上するか？
• RQ3 Ahaの失敗説明は、強化学習、計画、ゼロショット生成の下流タスクにおけるポリシー性能をどの程度向上させられるか？
• RQ4 多様で分布外の設定において、AhaはGPT-4oなどの最先端のVLMや特許取得済みモデルと比較して、失敗推論において優れているか？
• RQ5 Ahaの失敗フィードバックは、複数のロボットフレームワークに再利用可能であり、成功確率と耐障害性を向上させることができるか？

主な発見

• Ahaは、複数のメトリクスおよびデータセットにおいて平均してGPT-4oを10.3%上回り、未観測の失敗シナリオへの一般化能力が優れていることを示している。
• Ahaは、比較対象の6モデル（うち5つはSOTA VLM）の平均性能を35.3%上回り、その堅牢性と一般化能力の高さが顕著に示された。
• 強化学習フレームワークに統合した場合、AhaはGPT-4oと比較してタスク成功率を21.4%向上させ、5つのベンチマークタスクにおいて22.34%の高い成功率を達成した。
• タスク・モーションプランニング（PRoC3S）において、AhaはGPT-4oと比較して成功率を36.7%向上させた。これは、LLMベースの計画最適化中に、より正確な失敗診断とフィードバックが得られたためである。
• ゼロショット軌道生成（Manipulate-Anything）において、GPT-4Vの代わりにAha-13Bを採用することで、4つのRLBenchタスクにおいて平均5%の向上を示し、推論精度と全体のタスク成功率が向上した。
• Ahaは、シミュレーションデータでのみ微調整されているにもかかわらず、現実世界の失敗データセットおよび多様なロボットシステムに効果的に一般化しており、FailGenの手続き的データ拡張の有効性が裏付けられた。