[论文解读] Interactive Language Acquisition with One-shot Visual Concept Learning through a Conversational Game

Haichao Zhang, Haonan Yu+1 more|arXiv (Cornell University)|Apr 26, 2018

Multimodal Machine Learning Applications参考文献 32被引用 4

一句话总结

该论文提出了一种联合模仿与强化学习框架，使智能体能够通过与教师进行互动对话游戏，以一次示例的方式习得具身语言并学习新的视觉概念。智能体主动提问，将新物体信息存储于外部记忆中，并生成语境恰当的句子，在句子级一次示例学习任务中实现了82.8%的成功率和+0.8的平均奖励。

ABSTRACT

Building intelligent agents that can communicate with and learn from humans in natural language is of great value. Supervised language learning is limited by the ability of capturing mainly the statistics of training data, and is hardly adaptive to new scenarios or flexible for acquiring new knowledge without inefficient retraining or catastrophic forgetting. We highlight the perspective that conversational interaction serves as a natural interface both for language learning and for novel knowledge acquisition and propose a joint imitation and reinforcement approach for grounded language learning through an interactive conversational game. The agent trained with this approach is able to actively acquire information by asking questions about novel objects and use the just-learned knowledge in subsequent conversations in a one-shot fashion. Results compared with other methods verified the effectiveness of the proposed approach.

研究动机与目标

• 为解决监督语言学习对大规模标注数据集的严重依赖，以及其在适应性和灾难性遗忘方面的问题。
• 使智能体能够通过单个示例（一次示例学习）习得新的视觉概念，其方式与人类认知能力相仿。
• 开发一种系统，使智能体能够通过自然语言交互主动获取信息，并在后续对话中有效利用这些信息。
• 构建一个可扩展的交互式学习环境，支持语言生成与知识获取，且无需重新训练。
• 展示记忆增强神经网络在实现可解释、自适应语言生成及一次示例概念整合方面的有效性。

提出的方法

• 智能体在对话游戏环境中与教师互动，利用联合模仿与强化学习优化语言生成。
• 记忆增强神经网络存储来自教师反馈的视觉特征及其关联的语言标签，实现一次示例概念学习。
• 一种带有内容重要性门控的注意力机制，用于识别并优先处理教师话语中的对象名称，以供记忆写入。
• 融合门动态平衡RNN（用于句法结构）与外部记忆（用于新概念）在句子生成过程中的信号。
• 模型通过监督模仿（模仿教师回复）与强化学习（最大化对话成功）相结合的方式端到端训练。
• 在包含图像变化的词级与句子级任务上评估系统，以测试泛化能力与一次示例学习能力。

实验结果

研究问题

• RQ1 智能体是否能够在不依赖大规模监督数据集的前提下，通过互动对话习得具身语言？
• RQ2 智能体是否能够通过主动向教师提问并将其信息存储于外部记忆中，实现一次示例视觉概念学习？
• RQ3 智能体在涉及新物体的后续对话中，能否有效迁移其新获取的知识？
• RQ4 RNN驱动的句法建模与记忆增强知识存储的融合，在零样本与少样本设置下，能在多大程度上提升句子生成质量？
• RQ5 在复杂多变的对话环境中，该方法相较于基线方法在成功率与奖励方面表现如何？

主要发现

• 所提方法在句子级一次示例学习任务中取得了82.8%的成功率与+0.8的平均奖励，优于所有基线方法。
• 智能体成功利用内容重要性门控从教师反馈中提取并存储对象名称，对命名实体的注意力与记忆写入概率更高。
• 融合门机制表现出可解释的行为：在生成对象名称（如'banana'、'cucumber'）时更依赖外部记忆信号，而在生成功能词（如'what'、'I'、'can'、'see'）时则更多依赖RNN信号。
• 模型在新型图像变化（50%变化率）下表现出良好泛化能力，表明其对测试环境中视觉与语言扰动具有鲁棒性。
• 可视化结果证实，智能体学会了通过结合RNN的句法结构与外部记忆中的新视觉概念知识，自适应地组合句子。
• 该方法有效实现了对一次示例学习知识的迁移，使智能体能够在上下文中有意义地使用新概念。