[论文解读] INVIGORATE: Interactive Visual Grounding and Grasping in Clutter

Hanbo Zhang, Yunfan Lu+4 more|arXiv (Cornell University)|Aug 25, 2021

Multimodal Machine Learning Applications参考文献 44被引用 4

一句话总结

INVIGORATE 是一个机器人系统，通过将数据驱动的深度学习与基于模型的 POMDP 规划相结合，实现在杂乱环境中通过自然语言进行交互式视觉定位与抓取。通过在以物体为中心的 POMDP 框架内整合用于目标检测、视觉定位、问题生成以及物体遮挡关系估计的神经网络，该系统在存在视觉遮挡和语言模糊性的情况下，实现了 83% 的目标识别与抓取成功率。

ABSTRACT

This paper presents INVIGORATE, a robot system that interacts with human through natural language and grasps a specified object in clutter. The objects may occlude, obstruct, or even stack on top of one another. INVIGORATE embodies several challenges: (i) infer the target object among other occluding objects, from input language expressions and RGB images, (ii) infer object blocking relationships (OBRs) from the images, and (iii) synthesize a multi-step plan to ask questions that disambiguate the target object and to grasp it successfully. We train separate neural networks for object detection, for visual grounding, for question generation, and for OBR detection and grasping. They allow for unrestricted object categories and language expressions, subject to the training datasets. However, errors in visual perception and ambiguity in human languages are inevitable and negatively impact the robot's performance. To overcome these uncertainties, we build a partially observable Markov decision process (POMDP) that integrates the learned neural network modules. Through approximate POMDP planning, the robot tracks the history of observations and asks disambiguation questions in order to achieve a near-optimal sequence of actions that identify and grasp the target object. INVIGORATE combines the benefits of model-based POMDP planning and data-driven deep learning. Preliminary experiments with INVIGORATE on a Fetch robot show significant benefits of this integrated approach to object grasping in clutter with natural language interactions. A demonstration video is available at https://youtu.be/zYakh80SGcU.

研究动机与目标

• 解决在视觉遮挡和语言模糊性阻碍性能的杂乱环境中实现鲁棒目标检索的挑战。
• 将数据驱动的神经网络与基于模型的规划相结合，以处理现实机器人交互中的感知不确定性和语言模糊性。
• 通过问题生成实现实时交互式消歧，当视觉定位或语言理解存在不确定性时进行干预。
• 开发一种能够推理物体关系与感知可靠性以在部分可观测条件下优化动作序列的系统。
• 在存在噪声视觉输入和模糊语言指令的情况下，实现在真实世界机器人抓取任务中的高成功率。

提出的方法

• 分别训练用于目标检测、指代表达视觉定位、物体遮挡关系（OBR）检测以及消歧问题生成的深度神经网络。
• 构建一个以物体为中心的局部可观察马尔可夫决策过程（POMDP），用于建模来自神经网络的噪声观测，并在物体身份与关系上维持信念状态。
• 使用概率观测模型来处理检测失败以及视觉和语言感知中的不确定性。
• 采用 POMDP 规划生成近似最优的动作序列，当目标识别置信度较低时，包含主动询问消歧问题。
• 通过预测人类可能的理解方式并平衡信息增益与交互成本，优化问题生成。
• 将所有组件整合为一个统一的流水线，并在 Fetch 机器人上部署以进行真实世界评估。

实验结果

研究问题

• RQ1 当多个物体匹配描述时，机器人系统如何有效解决自然语言指令中的模糊性？
• RQ2 POMDP 框架在视觉遮挡和噪声感知条件下，能在多大程度上提升视觉定位与抓取的鲁棒性？
• RQ3 学习得到的神经网络能否与基于模型的规划有效结合，以减少在复杂高维感知任务中的误差传播？
• RQ4 通过消歧问题进行主动信息获取，如何提升在杂乱环境中的成功率？
• RQ5 与端到端神经基线相比，不确定性感知推理对整体系统性能有何影响？

主要发现

• INVIGORATE 在测试数据集上实现了 83% 的总体成功率，显著优于未集成 POMDP 的基线模型。
• 消融研究证实，对感知不确定性和语言模糊性的推理是实现在杂乱场景中鲁棒性能的关键。
• 该系统成功识别并解决了语言指代中的模糊性，例如通过颜色线索区分两个遥控器。
• 基于 POMDP 的规划能够有效处理检测失败——例如当目标被遮挡或未被检测到时——通过触发移除障碍物或提问等动作。
• 问题生成中的评论模块可过滤掉幻觉属性，优先选择人类偏好的属性（如颜色），从而提升问题质量。
• 失败案例揭示了 OBR 估计与检测鲁棒性的局限性，例如当遮挡物体未被检测到或关系被错误推断时，导致错误抓取。