[论文解读] Exploring Structural Inductive Biases in Emergent Communication.

Agnieszka Słowik, Abhinav Gupta+4 more|arXiv (Cornell University)|Feb 4, 2020

Topic Modeling参考文献 22被引用 8

一句话总结

本文提出了一种基于图的指代游戏，用于研究涌现通信中的结构归纳偏置，比较了词袋、序列和图结构先验。结果表明，图神经网络（GNN）相较于其他架构能诱导更强的组合泛化能力和结构归纳偏置，实证结果显示出更高的拓扑相似性以及对域外组合的鲁棒性。

ABSTRACT

Human language and thought are characterized by the ability to systematically generate a potentially infinite number of complex structures (e.g., sentences) from a finite set of familiar components (e.g., words). Recent works in emergent communication have discussed the propensity of artificial agents to develop a systematically compositional language through playing co-operative referential games. The degree of structure in the input data was found to affect the compositionality of the emerged communication protocols. Thus, we explore various structural priors in multi-agent communication and propose a novel graph referential game. We compare the effect of structural inductive bias (bag-of-words, sequences and graphs) on the emergence of compositional understanding of the input concepts measured by topographic similarity and generalization to unseen combinations of familiar properties. We empirically show that graph neural networks induce a better compositional language prior and a stronger generalization to out-of-domain data. We further perform ablation studies that show the robustness of the emerged protocol in graph referential games.

研究动机与目标

• 研究不同的结构归纳偏置（词袋、序列和图）如何影响多智能体系统中组合通信的涌现。
• 填补对输入结构如何影响涌现通信协议的组合性与泛化能力的理解空白。
• 设计并评估一种新颖的基于图的指代游戏，将输入概念建模为结构化、关系型数据。
• 衡量并比较不同结构先验在拓扑相似性和域外泛化性能方面的表现。
• 评估在结构组件被移除时，所涌现通信协议的鲁棒性。

提出的方法

• 提出一种新型图指代游戏，其中输入概念以节点和边结构化的图表示，从而引入关系归纳偏置。
• 采用图神经网络（GNN）作为通信骨干网络，基于结构化输入表示来处理和生成消息。
• 在协作式指代游戏设置中训练多智能体系统，使智能体能够协调将输入映射到共享符号。
• 使用拓扑相似性作为度量，评估输入概念与所涌现通信协议之间的结构对齐程度。
• 通过测试在已知输入属性的未见组合上的性能，评估泛化能力（域外泛化）。
• 对图结构组件进行消融研究，以评估所涌现通信协议的鲁棒性。

实验结果

研究问题

• RQ1 不同的结构归纳偏置（词袋、序列和图）如何影响所涌现通信协议的组合性？
• RQ2 与序列或无序表示相比，使用图结构表示是否能实现输入概念与所涌现符号之间更高的拓扑相似性？
• RQ3 基于图的通信协议在多大程度上能泛化到已知输入属性的未见组合？
• RQ4 当关键结构组件被移除时，图指代游戏中的所涌现通信协议在多大程度上保持鲁棒性？
• RQ5 图神经网络是否能作为比传统序列或集合模型更强的归纳偏置，以促进组合语言的涌现？

主要发现

• 基于图的通信协议与输入结构的拓扑相似性显著高于基于序列或词袋的协议。
• 与其它结构先验相比，图指代游戏能实现更强的对已知输入属性未见组合的泛化能力。
• GNN诱导了更结构化和组合化的归纳偏置，从而产生更具系统性和可解释性的所涌现通信。
• 消融研究证实，图结构对于维持通信协议的鲁棒性和性能至关重要。
• 基于图的设置中所涌现的语言对结构扰动表现出更强的抗性，表明学习过程稳定且结构化。
• 结果表明，图结构归纳偏置在促进多智能体通信中的组合理解方面尤为有效。