[论文解读] Enabling Robots to Understand Incomplete Natural Language Instructions Using Commonsense Reasoning

Haonan Chen, Hao Tan+3 more|arXiv (Cornell University)|Apr 29, 2019

Topic Modeling参考文献 73被引用 5

一句话总结

本文提出了基于语言模型的人工通用推理（LMCR），一种使机器人能够通过解析自然语言指令为动词框架，并利用环境上下文和在大规模语料上微调的语言模型填补缺失语义角色，从而理解不完整自然语言指令的方法。LMCR通过从文本数据中提炼的常识知识，高精度地解决了缺失论元（如“给我倒点水”中的目的地）的问题，在模拟环境和真实机器人任务中均表现出稳健性能。

ABSTRACT

Enabling robots to understand instructions provided via spoken natural language would facilitate interaction between robots and people in a variety of settings in homes and workplaces. However, natural language instructions are often missing information that would be obvious to a human based on environmental context and common sense, and hence does not need to be explicitly stated. In this paper, we introduce Language-Model-based Commonsense Reasoning (LMCR), a new method which enables a robot to listen to a natural language instruction from a human, observe the environment around it, and automatically fill in information missing from the instruction using environmental context and a new commonsense reasoning approach. Our approach first converts an instruction provided as unconstrained natural language into a form that a robot can understand by parsing it into verb frames. Our approach then fills in missing information in the instruction by observing objects in its vicinity and leveraging commonsense reasoning. To learn commonsense reasoning automatically, our approach distills knowledge from large unstructured textual corpora by training a language model. Our results show the feasibility of a robot learning commonsense knowledge automatically from web-based textual corpora, and the power of learned commonsense reasoning models in enabling a robot to autonomously perform tasks based on incomplete natural language instructions.

研究动机与目标

• 使机器人能够理解依赖常识和环境上下文的不完整自然语言指令。
• 开发一种自动识别指令中缺失语义角色并利用附近物体和常识知识进行填充的方法。
• 在大规模非结构化文本上训练语言模型，以学习常识推理，而无需大量人工标注。
• 在模拟环境和真实机器人（Baxter）上评估系统，以验证其在真实世界中的适用性。
• 证明在网页语料上预训练的语言模型能够有效支持机器人在日常任务中理解指令。

提出的方法

• 将自然语言指令解析为包含谓词（动词）和语义角色（如受事、方向）的结构化动词框架，并为缺失论元预留占位符。
• 使用在大规模文本语料（如YouCook2、NYC）上训练的神经语言模型，估算缺失角色候选补全的概率。
• 将候选填充对象限制在机器人周围环境中检测到的物体，以确保物理合理性。
• 应用合理性阈值λ过滤低置信度预测，以提升鲁棒性。
• 采用基于句子和基于框架的线性化策略联合训练语言模型，其中基于句子的训练策略表现更优，因其支持端到端学习。
• 将LMCR流程集成到机器人系统中，包含语音识别、物体检测和运动规划模块，实现实时执行。

实验结果

研究问题

• RQ1 机器人能否自动检测由于缺失语义角色而导致的自然语言指令不完整？
• RQ2 在大规模网络文本上预训练的语言模型能否有效利用环境上下文推断机器人指令中的缺失论元？
• RQ3 LMCR在不同任务复杂度下，与基线方法相比，在解决不完整指令方面的性能如何？
• RQ4 在多样化的大规模语料（如食谱数据集）上进行训练，是否能提升常识推理能力，相比使用人工标注的精选数据集？
• RQ5 系统在不同数量的干扰物体和不同合理性阈值下的鲁棒性如何？

主要发现

• LMCR在所有测试配置中均优于所有基线方法，整体准确率最高，成功解决了不完整指令中的缺失论元。
• 当k=6、λ=1.0时，LMCR在人工标注测试集上的整体准确率达到87.2%，显著优于次优方法超过10个百分点。
• 基于句子的语言模型训练策略优于基于框架的训练，准确率达到87.2%，高于基于框架的82.1%，原因在于对罕见动词的更好处理和更少的错误传播。
• 在YouCook2和NYC数据集联合训练下性能优于仅使用YouCook2数据集，表明即使在更大、更嘈杂的数据集上，只要建模得当，仍能提升推理能力。
• 系统在真实世界中具备可行性，成功在Baxter机器人上执行了使用口语化不完整指令（如“给我倒点水”）的任务。
• 敏感性分析表明，当每种场景中的物体数量从4个增加到40个时，LMCR仍能保持高准确率，表明其对环境复杂性的鲁棒性。