[论文解读] A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment

Haonan Yu, Haichao Zhang+1 more|arXiv (Cornell University)|Mar 28, 2017

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出了一种深度组合框架，使智能体能够在2D虚拟环境（xworld）中通过端到端训练实现类人的语言习得，将语言与视觉感知相联系，并实现对未见过的词组合及新物体概念的零样本泛化。该框架通过利用架构模块化、参数共享和视觉-语言-动作整合中的组合推理，实现了在所有零样本导航条件下的约90%成功率。

ABSTRACT

We tackle a task where an agent learns to navigate in a 2D maze-like environment called XWORLD. In each session, the agent perceives a sequence of raw-pixel frames, a natural language command issued by a teacher, and a set of rewards. The agent learns the teacher's language from scratch in a grounded and compositional manner, such that after training it is able to correctly execute zero-shot commands: 1) the combination of words in the command never appeared before, and/or 2) the command contains new object concepts that are learned from another task but never learned from navigation. Our deep framework for the agent is trained end to end: it learns simultaneously the visual representations of the environment, the syntax and semantics of the language, and the action module that outputs actions. The zero-shot learning capability of our framework results from its compositionality and modularity with parameter tying. We visualize the intermediate outputs of the framework, demonstrating that the agent truly understands how to solve the problem. We believe that our results provide some preliminary insights on how to train an agent with similar abilities in a 3D environment.

研究动机与目标

• 开发一种在虚拟环境中实现视觉、语言与导航端到端学习的框架，模拟类人的语言习得过程。
• 实现在导航中的零样本泛化，包括对先前任务中学习到的未见过的词组合和新物体概念的泛化。
• 通过组合性、模块化的深度学习架构，将语言语义与视觉感知相联系。
• 证明网络架构中的组合性与参数共享可实现稳健的零样本迁移，而无需微调。
• 为在3D环境中训练具备人类水平语言理解能力的智能体提供基础。

提出的方法

• 智能体通过随机梯度下降在2D迷宫式xworld环境中进行端到端训练，输入为原始像素帧、自然语言指令和稀疏奖励信号。
• 感知模块生成结构化的环境地图，将障碍物和目标作为导航的先验知识。
• 程序员RNN根据语言指令组合如Find、Transform和CombineOr等操作，生成可执行程序。
• 注意力机制动态突出显示与指令中词语相对应的视觉区域，空间注意力通过2D卷积滤波器建模。
• 该框架在各模块间实施参数共享，以强化组合泛化能力，使学习到的表征可复用于新组合。
• 动作模块将当前状态映射为动作，但目前缺乏记忆或路径规划能力。

实验结果

研究问题

• RQ1 智能体能否仅从原始像素和奖励信号中学习理解并执行自然语言导航指令，而无需预解析的语言或环境关联？
• RQ2 智能体在涉及未见过的词组合或先前任务中学习到的新物体概念的零样本指令上，其泛化能力在多大程度上成立？
• RQ3 架构的组合性与参数共享在视觉-语言-奖励联合学习中的零样本泛化中起到何种作用？
• RQ4 模块化设计与中间可视化在验证智能体对语言和环境的真实理解中发挥何种作用？
• RQ5 该框架能否扩展至需要更复杂视觉与空间推理的3D环境？

主要发现

• 该框架在所有零样本导航条件下平均成功率约为90%，包括未见过的词组合和新物体概念。
• 智能体能有效泛化到从未见过的指令，例如当仅分别学习过'between'和物体名称时，可正确执行'go between apple and coconut'这类指令。
• 学习联合图像-语言嵌入的基线模型表现显著更差，尤其在零样本任务上，凸显了组合架构的优势。
• 注意力图和环境表征的可视化证实，智能体能以高精度将语言与视觉感知相联系，但在复杂空间关系（如在两个物体之间导航）中仍存在细微缺陷。
• 智能体与完美表现（100%）之间的性能差距归因于动作模块的局限性，其缺乏记忆或规划能力，导致在长墙导航场景中出现循环行为。
• 该框架表明，模块化设计与参数共享可实现跨任务的知识迁移，例如无需微调即可将物体识别知识用于导航。