[论文解读] Developmentally motivated emergence of compositional communication via template transfer

Tomasz Korbak, Julian Zubek+3 more|arXiv (Cornell University)|Oct 4, 2019

Language and cultural evolution参考文献 34被引用 25

一句话总结

本文提出了一种模板迁移方法，用于多智能体系统中涌现的组合性通信，其中在非组合性信号游戏上训练的接收器被重用于训练新的发送器，从而在不引入架构归纳偏置的情况下实现组合性协议。该方法在零样本泛化、上下文独立性和拓扑相似性（0.85）方面优于基线方法，表明组合性可从简单通信协议中学习到的偏置中涌现出来。

ABSTRACT

This paper explores a novel approach to achieving emergent compositional communication in multi-agent systems. We propose a training regime implementing template transfer, the idea of carrying over learned biases across contexts. In our method, a sender-receiver pair is first trained with disentangled loss functions and then the receiver is transferred to train a new sender with a standard loss. Unlike other methods (e.g. the obverter algorithm), our approach does not require imposing inductive biases on the architecture of the agents. We experimentally show the emergence of compositional communication using topographical similarity, zero-shot generalization and context independence as evaluation metrics. The presented approach is connected to an important line of work in semiotics and developmental psycholinguistics: it supports a conjecture that compositional communication is scaffolded on simpler communication protocols.

研究动机与目标

• 探究组合性通信是否可通过适应现有非组合性通信协议而涌现。
• 探究从简单游戏中学习到的偏置是否能促进在更复杂环境中组合性通信的涌现。
• 评估模板迁移作为诱导多智能体通信系统中组合性的一种机制的有效性。
• 在零样本泛化、上下文独立性和拓扑相似性方面，将模板迁移与反演算法进行比较。
• 将该方法与发展心理学语言学和符号学相联系，支持组合性建立在类像和指示性前体之上的假设。

提出的方法

• 三阶段训练制度：(i) 训练视觉分类器，(ii) 在非组合性物体命名游戏中训练发送器-接收器对，使用解耦损失函数，(iii) 将接收器迁移用于在组合性信号游戏中训练新的发送器。
• 模板迁移涉及重用预训练接收器策略，使用标准交叉熵损失指导新发送器的训练，从而保留学习到的偏置。
• 该方法依赖于将损失函数分解为解耦的组件以分别预测颜色和形状，从而实现在不需输入解耦的情况下进行模块化学习。
• 评估指标包括拓扑相似性（衡量信号结构）、上下文独立性（对输入变化的鲁棒性）和零样本泛化（在未见物体组合上的性能）。
• 该方法与反演算法进行对比，后者需要对称角色和相同架构，同时与随机基线和非预训练基线进行比较。
• 实验在包含五种颜色和五种形状的刘易斯信号游戏上进行，使用共享视觉编码器和离散符号序列进行通信。

实验结果

研究问题

• RQ1 组合性通信是否可通过从更简单、非组合性信号游戏中迁移学习到的偏置而涌现？
• RQ2 与反演算法或随机基线相比，模板迁移是否带来更好的零样本泛化？
• RQ3 在模板迁移下，通信协议在多大程度上表现出上下文独立性和拓扑相似性？
• RQ4 在不施加架构归纳偏置（如反演算法所需的那些）的情况下，组合性是否仍可实现？
• RQ5 是否可通过多智能体系统中的迁移学习，对从类像/指示性到组合性通信的发展进程进行建模？

主要发现

• 模板迁移实现了0.85的拓扑相似性得分，显著高于反演基线（0.55）和非预训练基线（0.30），表明信号更具结构化和组合性。
• 该方法在未见物体组合上的平均测试准确率达到74%，优于反演算法（51%）和非预训练基线（47%），显示出强大的零样本泛化能力。
• 模板迁移的上下文独立性为0.18，高于反演算法（0.12）和基线（0.08），表明对输入变化具有更强的鲁棒性。
• 通过模板迁移训练的模型在颜色和形状上均实现了100%的训练准确率和48%的测试准确率，表明学习有效且未对训练分布过拟合。
• 通过模板迁移学习到的通信协议表现出清晰的组合性结构：符号始终映射到特定属性（例如，当处于第一位时符号'8'表示品红色，当处于第二位时表示方形），如表2(b)所示。
• 结果支持这一假设：组合性可通过迁移学习从更简单、已存在的通信协议中涌现，而无需引入架构归纳偏置。