[论文解读] Interactive Grounded Language Acquisition and Generalization in a 2D World

Haonan Yu, Haichao Zhang+1 more|arXiv (Cornell University)|Jan 30, 2018

Multimodal Machine Learning Applications被引用 39

一句话总结

该论文提出了一种在2D虚拟环境中通过实时视觉与语言反馈实现交互式、具身化语言习得的模型，通过联合导航与问答任务学习理解新句子。通过将语言具身化与下游计算解耦，并在预测与具身化之间共享概念检测功能，该智能体实现了强大的零样本泛化能力——既能处理全新的词组合（ZS1），也能处理从答案中转移而来的完全新词（ZS2），即使新物体词的频率是已见词的9倍，导航成功率仍达60%，问答准确率高达83%。

ABSTRACT

We build a virtual agent for learning language in a 2D maze-like world. The agent sees images of the surrounding environment, listens to a virtual teacher, and takes actions to receive rewards. It interactively learns the teacher's language from scratch based on two language use cases: sentence-directed navigation and question answering. It learns simultaneously the visual representations of the world, the language, and the action control. By disentangling language grounding from other computational routines and sharing a concept detection function between language grounding and prediction, the agent reliably interpolates and extrapolates to interpret sentences that contain new word combinations or new words missing from training sentences. The new words are transferred from the answers of language prediction. Such a language ability is trained and evaluated on a population of over 1.6 million distinct sentences consisting of 119 object words, 8 color words, 9 spatial-relation words, and 50 grammatical words. The proposed model significantly outperforms five comparison methods for interpreting zero-shot sentences. In addition, we demonstrate human-interpretable intermediate outputs of the model in the appendix.

研究动机与目标

• 通过视觉与语言输入的实时反馈，在动态2D环境中实现交互式、具身化的语言习得。
• 解决语言理解中的零样本泛化挑战，特别是针对未见过的词组合（ZS1）和完全新词（ZS2）。
• 将语言具身化与下游计算解耦，以提升学习到的词义的可解释性与可迁移性。
• 在不重新训练的情况下，实现从语言预测（如单个词答案）到语言具身化（如导航指令）的词义迁移。
• 在极端数据稀疏条件下评估模型的鲁棒性，包括推理过程中未见词汇比例较高的情况。

提出的方法

• 智能体在2D迷宫式环境（xworld）中运行，同时执行两项任务：由语言指令引导的导航（NAV）和用于测试语言理解与预测能力的问答（QA）。
• 通过一个由通道掩码（依赖于句子）和空间注意力图（依赖于视觉特征）组成的注意力立方体，显式建模语言具身化，实现视觉-语言对齐的解耦。
• 在具身化与预测模块之间共享同一个概念检测函数，使在QA过程中学习到的词义可直接迁移到测试时的NAV任务中。
• 模型使用由词嵌入和视觉特征立方体推导出的一系列得分图来计算注意力，空间变换通过2D卷积建模，以支持2D空间推理。
• 智能体通过强化学习端到端训练，根据正确动作与答案获得奖励，并使用记忆机制处理部分可观测性问题。
• 该架构通过将具身化与任务特定计算解耦，支持泛化，使通过预测任务的迁移实现对新词的外推。

实验结果

研究问题

• RQ1 语言智能体是否能在具身化、交互式学习设置中，对包含新词组合的句子实现稳健的零样本泛化（ZS1）？
• RQ2 智能体是否能泛化到包含训练期间未见过的完全新词（ZS2）的句子，特别是当这些词是通过语言预测（如答案）习得时？
• RQ3 在预测与具身化之间共享同一概念检测函数，是否能有效实现词义在不同任务间的迁移？
• RQ4 当未见物体词数量是已见词的9倍时，模型性能会如何退化？
• RQ5 该模型的显式具身化机制在3D环境中能多大程度上泛化？需要哪些架构上的调整？

主要发现

• 即使新物体词数量是已见词的9倍，该模型在零样本导航（ZS1与ZS2）中仍实现了60%的成功率。
• 在相同极端数据稀疏条件下，该模型在零样本问答任务中达到83%的准确率，表明其对未见词汇具有强大的泛化能力。
• 当90%的训练数据被保留（X=90.0）时，该模型仍保持高性能，显著优于五种基线模型，后者在12.5%数据保留条件下导航成功率下降高达80%。
• 在ZS2设置下，该智能体在问答任务上的泛化能力优于导航任务，表明在此设定中，语言预测本质上比具身化动作控制更容易。
• 该模型对数据稀疏性表现出极强的鲁棒性，即使在极端测试时数据分布发生显著偏移，性能也仅轻微下降，而诸如CA与SAN等基线模型则出现急剧性能下滑。
• 分析显示，CA（一种基线模型）在某些指令类型（如nav_bw_obj）中依赖视觉模式而非语义理解，凸显了显式具身化对避免捷径学习的重要性。