[论文解读] Acquiring Grounded Representations of Words with Situated Interactive Instruction

Shiwali Mohan, Aaron Mininger+2 more|ArXiv.org|Feb 28, 2025

Multimodal Machine Learning Applications参考文献 16被引用 39

一句话总结

该论文提出一个混合主动性就地交互框架，通过在 Soar 中通过就地指令教授名词、形容词、介词和动词来进行地面化词汇学习，并在桌面机器人臂上演示，具备快速、在线、增量学习。

ABSTRACT

We present an approach for acquiring grounded representations of words from mixed-initiative, situated interactions with a human instructor. The work focuses on the acquisition of diverse types of knowledge including perceptual, semantic, and procedural knowledge along with learning grounded meanings. Interactive learning allows the agent to control its learning by requesting instructions about unknown concepts, making learning efficient. Our approach has been instantiated in Soar and has been evaluated on a table-top robotic arm capable of manipulating small objects.

研究动机与目标

• 演示认知代理如何通过互动指令从感知、语义和过程知识中获得地面化的词汇表征。
• 表明学习是增量的、在线的、快速的，并且仅需极少的示例。
• 评估混合主动性交互在灵活高效语言地面化方面的有效性。
• 探讨名词/形容词、空间介词和动作动词如何在感知和行动中被学习并实现地面化。

提出的方法

• 在 Soar 认知架构中实例化一个地面化语言学习代理。
• 使用视觉系统（Kinect）和一个桌面机器人臂与桌面上的物体进行交互。
• 通过从教师提供的示例学习的感知-符号映射来对词汇进行地面化。
• 使用教师接口和混合主动性交互模型，通过卡壳点和对话推动学习。
• 用语义记忆映射来表示地面化，将语言符号与感知、空间和动作概念联系起来。

实验结果

研究问题

• RQ1 混合主动性、就地情境化指令如何使机器人代理实现名词、形容词、介词和动词的地面化？
• RQ2 在交互学习过程中，哪些知识来源（感知、语义、动作模型、情节记忆）有助于地面化？
• RQ3 学习是否在线、增量且快速，只需少量示例即可获得地面化词汇表征？

主要发现

• 代理通过将语言术语与通过交互学习的感知符号、空间原语和动作-概念网络相关联来实现词汇的地面化。
• 学习是增量的：新词促进对额外单词的学习，名词/形容词先于更丰富的语言结构。
• 系统支持在线学习，响应时间小于 2 秒，并在少量示例的情况下展示快速获取。
• 混合主动性交互使教师能够专注于信息量大的示例，并让代理主动发起学习冲动以获得缺失知识。