[论文解读] Compositional Obverter Communication Learning From Raw Visual Input

Edward Choi, Angeliki Lazaridou+1 more|arXiv (Cornell University)|Apr 6, 2018

Multimodal Machine Learning Applications被引用 36

一句话总结

本文提出一种方法，通过使用 obverter 技术，使神经智能体直接从原始图像像素中学习组合性离散通信，其中智能体通过内省生成消息以提升自身理解。智能体在无需工程化特征的情况下发展出结构化、组合性的语言，通过定性分析、可视化和零样本泛化能力得到验证。

ABSTRACT

One of the distinguishing aspects of human language is its compositionality, which allows us to describe complex environments with limited vocabulary. Previously, it has been shown that neural network agents can learn to communicate in a highly structured, possibly compositional language based on disentangled input (e.g. hand- engineered features). Humans, however, do not learn to communicate based on well-summarized features. In this work, we train neural agents to simultaneously develop visual perception from raw image pixels, and learn to communicate with a sequence of discrete symbols. The agents play an image description game where the image contains factors such as colors and shapes. We train the agents using the obverter technique where an agent introspects to generate messages that maximize its own understanding. Through qualitative analysis, visualization and a zero-shot test, we show that the agents can develop, out of raw image pixels, a language with compositional properties, given a proper pressure from the environment.

研究动机与目标

• 探究神经智能体是否能在不依赖人工设计特征的情况下，仅从原始视觉输入中学习组合性通信。
• 探索通过内省（obverter 技术）产生的内在动机如何驱动结构化、离散通信的出现。
• 评估当在原始图像像素上训练时，智能体是否能发展出具有组合性特征的语言——即意义由离散、可重用的符号构成。
• 评估所学语言在未见过的图像配置中的零样本泛化能力。

提出的方法

• 智能体在协作图像描述游戏中进行训练，观察原始图像像素，并生成离散符号序列作为消息。
• 应用 obverter 技术，使智能体通过内省生成最大化其自身对图像理解的消息，从而生成内在监督信号。
• 训练过程采用可微分的策略梯度方法，基于智能体对图像的内部理解来优化其通信策略。
• 智能体的视觉感知与语言生成从原始像素端到端联合训练，不使用解耦或工程化的视觉特征。
• 通过定性分析、注意力机制可视化以及在未见图像因素组合上的零样本测试，评估组合性特征。

实验结果

研究问题

• RQ1 当仅在原始图像像素上训练时，神经智能体能否学会使用离散、组合性语言进行通信？
• RQ2 obverter 技术是否能有效引导结构化通信的出现，而无需外部监督？
• RQ3 所学语言在零样本设置下对未见图像因素组合的泛化能力达到何种程度？
• RQ4 智能体的内部表征和注意力机制在多大程度上反映了所生成语言的组合性结构？

主要发现

• 通过消息结构和注意力模式的定性分析，证实智能体成功从原始图像像素中发展出离散、组合性语言。
• 注意力机制的可视化显示，智能体学会了将特定符号与不同的视觉因素（如颜色和形状）相关联。
• 智能体表现出强大的零样本泛化能力，能够正确描述训练期间未见过的图像因素新组合。
• obverter 技术通过基于自我理解的内在反馈，有效引导了结构化通信的出现。