[论文解读] Compositional Languages Emerge in a Neural Iterated Learning Model

Yi Ren, Shangmin Guo+3 more|arXiv (Cornell University)|Feb 4, 2020

Language and cultural evolution参考文献 24被引用 34

一句话总结

本文提出一种 neural iterated learning (NIL) 算法，结果表明在神经代理的指代游戏中，具有高拓扑相似性（rho）的语言会出现，从而提升泛化和学习速度，并给出对 NIL 的概率分析。

ABSTRACT

The principle of compositionality, which enables natural language to represent complex concepts via a structured combination of simpler ones, allows us to convey an open-ended set of messages using a limited vocabulary. If compositionality is indeed a natural property of language, we may expect it to appear in communication protocols that are created by neural agents in language games. In this paper, we propose an effective neural iterated learning (NIL) algorithm that, when applied to interacting neural agents, facilitates the emergence of a more structured type of language. Indeed, these languages provide learning speed advantages to neural agents during training, which can be incrementally amplified via NIL. We provide a probabilistic model of NIL and an explanation of why the advantage of compositional language exist. Our experiments confirm our analysis, and also demonstrate that the emerged languages largely improve the generalizing power of the neural agent communication.

研究动机与目标

• 研究在神经代理通信中是否会出现具有高拓扑相似性（rho）的语言。
• 量化具组合性的语言在说话和倾听代理中的学习速度优势。
• 开发 NIL (neural iterated learning) 以在代际之间放大具组合性的语言。
• 提供一个概率框架来解释 NIL 机制及其鲁棒性。

提出的方法

• 使用 MLP 和 LSTMs 建模一个具有说话方（Alice）和倾听方（Bob）的指代游戏。
• 将信息定义为来自词汇表的固定长度离散序列；对象编码为 one-hot 属性向量。
• 使用 REINFORCE 和熵正则化进行训练；给出 Alice 和 Bob 的梯度表达式（方程（1）和（2））。
• 通过对象空间距离与信息空间距离之间的拓扑相似性 rho 来衡量具组合性（X 中为负余弦距离，M 中为 Levenshtein 距离）。
• 提出一个三阶段 NIL 算法（Learning, Interacting, Transmitting），在 I 代之间选择性地强化高 rho 语言。

实验结果

研究问题

• RQ1 高 rho 的语言是否会为神经说话者和倾听者带来学习速度优势？
• RQ2 NIL 能否放大具组合性的语言的出现并提高神经代理的泛化能力？
• RQ3 预训练和代际重置在推动 rho 向更高值发展的作用是什么？
• RQ4 拓扑相似性与在留出项上的验证性能之间的相关性如何？

主要发现

• 高 rho 的语言在指代游戏中为 Alice 和 Bob 都带来学习速度优势。
• NIL 在代际之间提高了新兴语言与意义空间之间的拓扑相似性。
• 迭代学习程序比非重置训练产生更高的 rho 和更好的验证性能，且在各种设置下具鲁棒性。
• rho 与验证性能之间存在强正相关（相关系数 = 0.928，p = 3.8e-104）。
• 存在一个用于预训练轮次的最优区间（I_a 和 I_b），可最大化 rho 的增长和任务性能。