[论文解读] AHA: A Vision-Language-Model for Detecting and Reasoning Over Failures in Robotic Manipulation

Jiafei Duan, Wilbert Pumacay+8 more|arXiv (Cornell University)|Oct 1, 2024

Robot Manipulation and Learning被引用 4

一句话总结

本文提出 Aha，一个开源视觉-语言模型，通过自由形式的自然语言解释来检测和推理机器人操作中的失败。该模型在 FailGen（一种程序化数据增强流水线）生成的 Aha 数据集上进行训练，平均优于 GPT-4o 10.3%，并在三个机器人框架中将任务成功率提升 21.4%，通过在强化学习、规划和零样本轨迹生成中实现自适应失败反馈，显著提升了性能。

ABSTRACT

Robotic manipulation in open-world settings requires not only task execution but also the ability to detect and learn from failures. While recent advances in vision-language models (VLMs) and large language models (LLMs) have improved robots' spatial reasoning and problem-solving abilities, they still struggle with failure recognition, limiting their real-world applicability. We introduce AHA, an open-source VLM designed to detect and reason about failures in robotic manipulation using natural language. By framing failure detection as a free-form reasoning task, AHA identifies failures and provides detailed, adaptable explanations across different robots, tasks, and environments. We fine-tuned AHA using FailGen, a scalable framework that generates the first large-scale dataset of robotic failure trajectories, the AHA dataset. FailGen achieves this by procedurally perturbing successful demonstrations from simulation. Despite being trained solely on the AHA dataset, AHA generalizes effectively to real-world failure datasets, robotic systems, and unseen tasks. It surpasses the second-best model (GPT-4o in-context learning) by 10.3% and exceeds the average performance of six compared models including five state-of-the-art VLMs by 35.3% across multiple metrics and datasets. We integrate AHA into three manipulation frameworks that utilize LLMs/VLMs for reinforcement learning, task and motion planning, and zero-shot trajectory generation. AHA's failure feedback enhances these policies' performances by refining dense reward functions, optimizing task planning, and improving sub-task verification, boosting task success rates by an average of 21.4% across all three tasks compared to GPT-4 models.

研究动机与目标

• 使机器人能够自主检测和推理开放世界操作任务中的失败，超越二元失败检测的局限。
• 解决机器人领域中用于训练视觉-语言模型的可扩展、多样化失败数据的缺乏，特别是针对失败泛化的问题。
• 开发一个基础模型，通过自由形式推理而非刚性分类，在未见机器人、任务和环境中实现泛化。
• 将失败推理集成到下游机器人系统中，如强化学习、任务与运动规划以及零样本轨迹生成。
• 证明基于自然语言的失败反馈能显著提升真实世界和仿真环境中策略的性能与鲁棒性。

提出的方法

• 提出 FailGen，一种程序化数据生成流水线，通过在仿真中扰动成功的示范轨迹，生成 79 个仿真任务中的多样化失败模式。
• 构建 Aha 数据集，包含 49,000 多组图像-查询对的失败轨迹，涵盖多样化的失败类型、机器人本体形态以及环境变化。
• 使用指令微调在 Aha 数据集上微调视觉-语言模型（Aha-13B），将失败检测任务转化为自由形式推理任务。
• 将 Aha 集成到三个机器人框架中：(1) 强化学习中的密集奖励塑造，(2) 带反馈回路的任务与运动规划，(3) 零样本轨迹生成中的子任务验证。
• 利用 Aha 输出的自然语言解释来优化奖励函数、改进规划并提升子任务验证，实现自适应错误恢复。
• 在分布外数据集和真实世界失败数据上进行零样本评估，以衡量在未见任务、机器人和环境中的泛化能力。

实验结果

研究问题

• RQ1 仅在仿真失败数据上进行训练的视觉-语言模型，能否有效泛化到真实世界机器人失败和未见任务？
• RQ2 与二元分类或固定标签方法相比，将失败检测建模为自由形式推理任务是否能提升可解释性与适应性？
• RQ3 Aha 的失败解释在强化学习、规划和零样本生成等下游任务中，能在多大程度上提升策略性能？
• RQ4 在多样化、分布外的设置下，Aha 与最先进的视觉-语言模型及专有模型（如 GPT-4o）相比，在失败推理方面表现如何？
• RQ5 Aha 的失败反馈能否在多个机器人框架中有效复用，以提升成功率和鲁棒性？

主要发现

• Aha 在多个指标和数据集上平均优于 GPT-4o 10.3%，证明其在未见失败场景中具有优越的泛化能力。
• 在评估指标上，Aha 超过六种对比模型（包括五种 SOTA 视觉-语言模型）的平均性能 35.3%，凸显其强大鲁棒性与泛化能力。
• 在强化学习框架中集成 Aha 后，任务成功率相比 GPT-4o 提升 21.4%，在五个基准任务上成功率高出 22.34%。
• 在任务与运动规划（PRoC3S）中，Aha 相比 GPT-4o 将成功率提升 36.7%，归因于在 LLM 驱动的计划优化过程中更准确的失败诊断与反馈。
• 在零样本轨迹生成（Manipulate-Anything）中，将 GPT-4V 替换为 Aha-13B 后，推理准确率和整体任务成功率在四个 RLBench 任务上平均提升 5%。
• 尽管仅在仿真数据上进行微调，Aha 仍能有效泛化到真实世界失败数据集和多样化机器人系统，证实了 FailGen 程序化数据增强的有效性。