[论文解读] Inductive Bias and Language Expressivity in Emergent Communication

Shangmin Guo, Yihao Ren+2 more|arXiv (Cornell University)|Dec 4, 2020

Language and cultural evolution参考文献 23被引用 4

一句话总结

本文研究了不同语言游戏设计——指代游戏与重构游戏——如何在涌现通信中引发不同的归纳偏置，发现指代游戏产生的语言更具组合性，而重构游戏则产生更高的语言表达性。在符号数据集上的实证结果表明，基于重构的游戏语言在新任务上泛化能力更强，表明游戏类型对涌现语言特性具有决定性影响。

ABSTRACT

Referential games and reconstruction games are the most common game types for studying emergent languages. We investigate how the type of the language game affects the emergent language in terms of: i) language compositionality and ii) transfer of an emergent language to a task different from its origin, which we refer to as language expressivity. With empirical experiments on a handcrafted symbolic dataset, we show that languages emerged from different games have different compositionality and further different expressivity.

研究动机与目标

• 探究语言游戏类型（指代 vs. 复构）如何影响涌现语言的组合性与表达性。
• 衡量并比较不同下游任务中涌现语言的泛化性能。
• 评估特定游戏设计是否内在促进更接近自然语言的特性，如组合性与信息丰富度。
• 为游戏设计如何塑造多智能体强化学习中的涌现通信协议提供实证证据。

提出的方法

• 在人工构建的符号数据集上进行实证评估，该数据集包含216个样本（3个属性，每个属性6个取值），划分为173个训练样本与43个测试样本。
• 使用EGG框架对指代游戏与重构游戏分别训练多智能体强化学习系统。
• 通过拓扑相似性度量评估语义单元的结构分解，以衡量组合性。
• 通过零样本泛化评估表达性：在一种游戏类型上训练听觉智能体，测试其在另一类游戏上的性能。
• 使用均方误差（MSE）与准确率作为评估指标，并采用t检验评估性能差异的统计显著性。

实验结果

研究问题

• RQ1 游戏类型（指代 vs. 复构）如何影响涌现语言的组合性？
• RQ2 一种游戏类型中产生的涌现语言在多大程度上能泛化到不同任务（例如，从指代游戏迁移到重构游戏）？
• RQ3 哪种游戏设计能产生更高表达性的涌现通信语言，以信息含量与泛化能力衡量？
• RQ4 游戏结构引入的归纳偏置是否影响了涌现语言的学习能力与结构特性？

主要发现

• 源自指代游戏的语言表现出显著更高的组合性，原因在于其固有的属性区分目标。
• 源自重构游戏的语言展现出更优的表达性，在重构任务上的泛化性能显著更优（p ≈ 5.1×10⁻⁶⁴）。
• 在指代游戏中，基于重构游戏的语言的泛化性能与基于指代游戏的语言相当（p = 0.74），表明其具有强大的可迁移性。
• 重构游戏产生的语言在新任务上泛化能力更强，表明其具有更高的信息含量与表达性。
• 结果证实，游戏设计是塑造涌现语言特性的关键因素，其中重构游戏更有利于表达性，而指代游戏更有利于组合性。
• 本研究为游戏设计引入的归纳偏置直接影响涌现语言的结构特性（组合性）与功能效用（表达性）提供了实证证据。