[论文解读] Emergent Translation in Multi-Agent Communication

Jason Lee, Kyunghyun Cho+2 more|arXiv (Cornell University)|Oct 12, 2017

Multimodal Machine Learning Applications参考文献 40被引用 40

一句话总结

本文提出了一种多智能体通信框架，智能体通过无需平行语料库的互动式视觉基础对话学习语言翻译。通过共享视觉模态并共同解决指代任务，智能体自然涌现出翻译能力，在多语言社区中表现出更快、更优的学习效果，优于基线模型。

ABSTRACT

While most machine translation systems to date are trained on large parallel corpora, humans learn language in a different way: by being grounded in an environment and interacting with other humans. In this work, we propose a communication game where two agents, native speakers of their own respective languages, jointly learn to solve a visual referential task. We find that the ability to understand and translate a foreign language emerges as a means to achieve shared goals. The emergent translation is interactive and multimodal, and crucially does not require parallel corpora, but only monolingual, independent text and corresponding images. Our proposed translation model achieves this by grounding the source and target languages into a shared visual modality, and outperforms several baselines on both word-level and sentence-level translation tasks. Furthermore, we show that agents in a multilingual community learn to translate better and faster than in a bilingual communication setting.

研究动机与目标

• 解决低资源语言翻译的挑战，即缺乏或无法获取平行语料库。
• 探究翻译是否能自然地从智能体之间的视觉基础、互动式通信中涌现。
• 研究多语言智能体社区是否相比双语配对能提升翻译性能。
• 开发一种零样本翻译方法，不依赖预存在的平行文本或专业翻译数据。
• 证明视觉模态的多模态接地可实现有效的跨语言对齐，而无需显式的平行监督。

提出的方法

• 在双向视觉指代游戏中训练两个智能体：一个用其母语描述图像，另一个从一组图像中选择正确图像。
• 智能体使用离散符号序列进行通信，而非连续向量，以模拟自然语言的涌现。
• 通过图像编码器和语言编码器联合训练，将源语言和目标语言共同接地于共享视觉空间。
• 采用联合训练目标，结合听者反馈和真实图像标注，以提升说话者性能。
• 将框架扩展至包含三个智能体（英语、德语、法语）的多语言社区，每个智能体同时学习其他两种语言。
• 实施两种社区训练设置：'公平'（数据暴露均等）和'完整'（目标语言侧数据更多），以研究数据效率和学习速度。

实验结果

研究问题

• RQ1 在无平行语料库的情况下，翻译是否能作为多智能体视觉环境交互通信的副产品自然涌现？
• RQ2 共享视觉模态的存在如何促进跨语言对齐与翻译能力？
• RQ3 与双语配对相比，多语言社区中的训练是否能带来更快、更优的翻译性能？
• RQ4 训练数据的数量与分布如何影响翻译技能的涌现？
• RQ5 当智能体对目标语言毫无先验知识时（如零资源场景），是否仍能学会翻译？

主要发现

• 所提模型在词级和句级翻译任务上均优于非通信基线模型和最近邻方法。
• 在多语言社区设置中，'完整'模型在DE-EN翻译任务上达到7.21的BLEU分数，显著优于单对模型（5.36）和公平社区模型（5.56）。
• '完整'社区模型在所有语言对上均取得最高得分，FR-EN为8.10 BLEU，DE-FR为6.55 BLEU，表明对目标语言侧数据的更多接触可提升翻译性能。
• 学习曲线显示，'完整'社区模型的学习速度优于单对模型和公平社区模型，表明数据多样性可加速学习。
• 该模型在零资源场景（如克林贡语）下仍能成功学习翻译，证明其在缺乏先验语言知识下的鲁棒性。
• 多语言社区中的智能体比双语环境下的学习效果更好、更快，证实了多样化语言互动的益处。