[论文解读] Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions

Jun Hatori, Yuta Kikuchi+6 more|arXiv (Cornell University)|Oct 17, 2017

Multimodal Machine Learning Applications参考文献 23被引用 13

一句话总结

本论文提出首个端到端机器人系统，用于在真实世界环境中解析非约束性口语指令，结合基于深度学习的物体检测与自然语言理解，并通过交互式对话解决歧义。该系统在物理机械臂上实现73.1%的端到端任务成功率，即使面对30%未见过的物体，也能通过人机对话动态澄清模糊指令。

ABSTRACT

Comprehension of spoken natural language is an essential component for robots to communicate with human effectively. However, handling unconstrained spoken instructions is challenging due to (1) complex structures including a wide variety of expressions used in spoken language and (2) inherent ambiguity in interpretation of human instructions. In this paper, we propose the first comprehensive system that can handle unconstrained spoken language and is able to effectively resolve ambiguity in spoken instructions. Specifically, we integrate deep-learning-based object detection together with natural language processing technologies to handle unconstrained spoken instructions, and propose a method for robots to resolve instruction ambiguity through dialogue. Through our experiments on both a simulated environment as well as a physical industrial robot arm, we demonstrate the ability of our system to understand natural instructions from human operators effectively, and how higher success rates of the object picking task can be achieved through an interactive clarification process.

研究动机与目标

• 使机器人能够理解并执行日常人类交流中使用的自然、非约束性口语指令。
• 解决人类指令中固有的歧义，特别是在物体种类繁多、环境杂乱的真实世界场景中。
• 开发一种支持通过对话进行交互式澄清的系统，模仿人类沟通方式以消除物体指代的歧义。
• 实现对未见过物体的鲁棒零样本泛化能力，无需预先提供类别标签或重新训练。
• 在模拟环境和真实物理机器人场景中均验证系统的有效性，应对语言和物体外观的高变异性。

提出的方法

• 将最先进的深度学习模型（用于物体检测与指代表达理解）整合到统一的处理流程中。
• 修改指代表达模型，使其无需显式物体类别标签即可运行，从而实现对未见过物体的零样本识别。
• 使用在ImageNet预训练卷积神经网络特征上微调的视觉-语言模型，以实现对多样化物体外观的泛化能力。
• 实现基于对话的澄清机制，当存在多个匹配候选时，机器人主动请求澄清。
• 结合言语反馈（如“哪一个？”）与视觉反馈（如高亮候选物体）以支持人类在交互过程中的理解。
• 设计系统具备语言无关性，支持未来通过共享知识迁移扩展至多种语言。

实验结果

研究问题

• RQ1 机器人系统能否在无预定义模板的情况下，有效解析真实世界环境中非约束性、口语化的口语指令？
• RQ2 当多个物体匹配某一描述时，交互式对话在解决歧义方面的有效性如何？
• RQ3 视觉-语言模型在未微调或无类别标签的情况下，对未见过物体的泛化能力达到何种程度？
• RQ4 环境变量（如光照、颜色感知差异）对系统在真实世界部署中性能的影响如何？
• RQ5 当任务中混合已知与未知物体时，系统能否在物理机器人任务中保持高准确率与成功率？

主要发现

• 在真实世界环境中，面对高视觉与语言变异性，该系统在使用物理机械臂进行目标物体选择时达到75.3%的top-1准确率。
• 在所有测试实例中，抓取与放置任务的端到端成功率达到了73.1%，包括检测失败的情况。
• 当测试集中混入30%未知物体时，系统仍保持67.6%的成功率，展现出强大的泛化能力。
• 交互式澄清机制相比非交互基线，将目标物体选择错误率降低了39%。
• 系统在目标放置箱选择任务中达到97.3%的准确率，表明其在指令空间定位方面具有高度可靠性。
• 由于光照和摄像头差异导致的颜色感知偏差是主要错误来源，尤其影响基于颜色的指代（如“橙色”与“红色”）的识别。