[论文解读] Measuring non-trivial compositionality in emergent communication

Tomasz Korbak, Julian Zubek+1 more|arXiv (Cornell University)|Oct 28, 2020

Language and cultural evolution参考文献 30被引用 8

一句话总结

本文评估了七种用于衡量涌现语言中组合性的指标，表明大多数指标无法检测到非平凡组合性（NTC），即复杂信号通过成分的复杂函数获得意义。只有在正确参数化的情况下，树重构误差（TRE）能可靠检测到 NTC，凸显了当前评估方法在建模人工智能系统中类语言沟通方面的关键局限性。

ABSTRACT

Compositionality is an important explanatory target in emergent communication and language evolution. The vast majority of computational models of communication account for the emergence of only a very basic form of compositionality: trivial compositionality. A compositional protocol is trivially compositional if the meaning of a complex signal (e.g. blue circle) boils down to the intersection of meanings of its constituents (e.g. the intersection of the set of blue objects and the set of circles). A protocol is non-trivially compositional (NTC) if the meaning of a complex signal (e.g. biggest apple) is a more complex function of the meanings of their constituents. In this paper, we review several metrics of compositionality used in emergent communication and experimentally show that most of them fail to detect NTC - i.e. they treat non-trivial compositionality as a failure of compositionality. The one exception is tree reconstruction error, a metric motivated by formal accounts of compositionality. These results emphasise important limitations of emergent communication research that could hamper progress on modelling the emergence of NTC.

研究动机与目标

• 识别并评估现有用于衡量涌现语言模型中组合性的指标。
• 探究为何大多数指标无法检测到非平凡组合性（NTC），即信号意义依赖于成分的复杂函数。
• 证明当正确参数化时，树重构误差（TRE）是唯一能可靠检测 NTC 的指标。
• 为涌现语言研究中的组合性指标比较提供统一框架。
• 推动在机器学习和演化语言学中评估复杂类语言沟通涌现的严谨方法。

提出的方法

• 本研究评估了七种组合性指标：上下文独立性、拓扑相似性、冲突计数、树重构误差（TRE），以及三种不同组合函数的 TRE 变体。
• 派生关系被建模为概念的树状结构（例如，'蓝色'和'圆形'），消息通过一个学习函数 f: D → Θ 从这些派生关系中映射而来。
• TRE 通过使用可微的树状结构模型，衡量模型从消息中重构派生树的能力，通过反向传播最小化重构误差。
• 对向量表示的组合函数 ∘ 进行了三种形式的测试：加法、线性和非线性（前馈网络），以评估其对 TRE 性能的影响。
• 实验在五个协议下进行比较：随机、整体性、平凡组合性、否定和上下文敏感性，对派生关系和消息进行均匀采样。
• 所有指标均在派生关系与符号的联合均匀分布下评估，通过五个随机种子报告得分以确保稳定性。

实验结果

研究问题

• RQ1 现有指标是否能可靠检测非平凡组合性（NTC），即信号意义是其各部分复杂函数的情况？
• RQ2 为何大多数组合性指标无法检测 NTC，其结构缺陷是什么？
• RQ3 当正确参数化时，树重构误差（TRE）能否检测 NTC，其性能如何随不同组合函数变化？
• RQ4 指标失效对建模人工智能代理中组合性语言涌现的含义是什么？
• RQ5 如何在涌现语言研究中建立标准化且可靠的组合性评估框架？

主要发现

• 大多数组合性指标——上下文独立性、拓扑相似性和冲突计数——无法检测非平凡组合性，反而将其视为组合性的失败。
• 当正确参数化时，树重构误差（TRE）是唯一能可靠检测 NTC 的指标，尤其在使用加法或线性组合函数时表现优异。
• TRE 中的非线性组合会导致严重过拟合，导致在上下文敏感协议中出现假阴性，表明必须仔细控制模型容量。
• 研究结果表明，TRE 中的加法和线性组合函数可实现稳定且可比较的性能，而非线性函数因过拟合而破坏检测能力。
• 结果揭示了一个关键的方法论缺陷：许多在涌现语言研究中广泛使用的指标在检测复杂组合结构方面存在根本性缺陷。
• 作者提供了公开可访问的代码和所有指标的可重用实现，以支持可复现性，并为未来在涌现语言中的组合性基准测试提供支持。