[论文解读] Knowledge Representation for Robots through Human-Robot Interaction

Emanuele Bastianelli, Domenico D. Bloisi+4 more|arXiv (Cornell University)|Jul 28, 2013

Multimodal Machine Learning Applications参考文献 23被引用 8

一句话总结

本文提出了一种多模态人机交互框架，使机器人能够从用户提供的语言和手势线索标注的度量地图中构建丰富、知识丰富的表征。通过对复杂指代表达进行定位并支持拓扑导航规划，该系统显著提升了机器人在真实环境中理解与执行自然语言指令的自主性。

ABSTRACT

The representation of the knowledge needed by a robot to perform complex tasks is restricted by the limitations of perception. One possible way of overcoming this situation and designing "knowledgeable" robots is to rely on the interaction with the user. We propose a multi-modal interaction framework that allows to effectively acquire knowledge about the environment where the robot operates. In particular, in this paper we present a rich representation framework that can be automatically built from the metric map annotated with the indications provided by the user. Such a representation, allows then the robot to ground complex referential expressions for motion commands and to devise topological navigation plans to achieve the target locations.

研究动机与目标

• 解决由于复杂环境中感知限制导致的机器人知识表征局限性。
• 通过整合人类提供的标注，弥合符号推理与基于传感器的感知之间的差距。
• 通过基于定位的指代表达，使机器人能够解释并执行自然语言运动指令。
• 开发一种可扩展的框架，利用多模态人类输入将度量地图转化为语义增强的表征。
• 通过编码源自人机交互的空间关系，支持拓扑导航规划。

提出的方法

• 使用标准机器人感知技术构建环境的度量地图。
• 整合多模态人类输入（语言描述和手势）以标注特定位置和空间关系。
• 使用混合空间推理模型，从标注的度量地图自动生成符号知识表征。
• 采用基于形式本体的框架，编码空间关系（例如，'在……后面'、'在……旁边'）和物体角色。
• 通过将指代表达映射到拓扑子图，支持复杂指代表达（例如，'去沙发后面的桌子'）的定位。
• 通过构建可导航区域及其关系的基于图的表征，实现拓扑导航规划。

实验结果

研究问题

• RQ1 机器人如何在真实环境中通过人机交互有效学习语义空间知识？
• RQ2 何种表征模型能够利用多模态输入实现自然语言运动指令的稳健定位？
• RQ3 如何通过符号知识增强度量地图，以支持高层推理与导航？
• RQ4 在多大程度上可从人类标注的空间描述中自动推导出拓扑导航计划？
• RQ5 多模态交互对机器人指令理解的准确性和鲁棒性有何影响？

主要发现

• 该系统成功利用标注的度量地图将自然语言指令映射到环境中的特定位置。
• 语言和手势线索的整合使复杂指代表达（如'书架在桌子后面'）的定位更加准确。
• 生成的符号表征支持拓扑导航规划，使机器人能够计算标注位置之间的可行路径。
• 与纯感知模型相比，该框架在机器人知识表征的可解释性和可扩展性方面表现更优。
• 该方法通过利用人类标注的空间语义，使机器人能够超越即时传感器数据进行泛化。
• 评估结果表明，该系统在真实室内环境中实现了可靠的指令执行，且人类监督需求极低。