[論文レビュー] Exploring Structural Inductive Biases in Emergent Communication.

Agnieszka Słowik, Abhinav Gupta+4 more|arXiv (Cornell University)|Feb 4, 2020

Topic Modeling参考文献 22被引用数 8

ひとこと要約

本稿では、発生的コミュニケーションにおける構造的帰納的バイアスを調査するため、グラフベースの参照ゲームを提案し、bag-of-words、逐次的、グラフ構造的プライアを比較する。グラフニューラルネットワーク（GNN）が、他のアーキテクチャと比較して、より強い構成的一般化と構造的帰納的バイアスを誘導することが示され、実験的結果では優れたトポグラフィー類似度とドメイン外の組み合わせに対するロバストネスを示している。

ABSTRACT

Human language and thought are characterized by the ability to systematically generate a potentially infinite number of complex structures (e.g., sentences) from a finite set of familiar components (e.g., words). Recent works in emergent communication have discussed the propensity of artificial agents to develop a systematically compositional language through playing co-operative referential games. The degree of structure in the input data was found to affect the compositionality of the emerged communication protocols. Thus, we explore various structural priors in multi-agent communication and propose a novel graph referential game. We compare the effect of structural inductive bias (bag-of-words, sequences and graphs) on the emergence of compositional understanding of the input concepts measured by topographic similarity and generalization to unseen combinations of familiar properties. We empirically show that graph neural networks induce a better compositional language prior and a stronger generalization to out-of-domain data. We further perform ablation studies that show the robustness of the emerged protocol in graph referential games.

研究の動機と目的

• 異なる構造的帰納的バイアス（bag-of-words、系列、グラフ）が、マルチエージェントシステムにおける構成的コミュニケーションの出現にどのように影響するかを調査すること。
• 入力構造が発生的コミュニケーションプロトコルの構成性と一般化に与える影響を理解する空白を埋めること。
• 入力概念を構造的・関係的データとしてモデル化する、新しいグラフベースの参照ゲームを設計・評価すること。
• 異なる構造的プライアに対して、トポグラフィー類似度とドメイン外一般化性能を測定・比較すること。
• 構造的コンポーネントのアブレーションによって、出現したコミュニケーションプロトコルのロバストネスを評価すること。

提案手法

• 入力概念をノードおよびエッジ構造を持つグラフとして表現する新しいグラフ参照ゲームを提案し、関係的帰納的バイアスを可能にする。
• 構造的入力表現に基づいてメッセージを処理・生成する通信バックボーンとして、グラフニューラルネットワーク（GNN）を採用する。
• エージェントが入力を共有の記号にマッピングする協調的参照ゲームの設定でマルチエージェントシステムを訓練する。
• 入力概念と出現したコミュニケーションプロトコルの構造的整合性を評価する指標として、トポグラフィー類似度を用いる。
• 未知の既知の入力プロパティの組み合わせ（ドメイン外一般化）に対する性能をテストすることで、一般化を評価する。
• グラフ構造のコンポーネントに対するアブレーションスタディを実施し、出現したコミュニケーションプロトコルのロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 bag-of-words、系列、グラフといった異なる構造的帰納的バイアスは、発生的コミュニケーションプロトコルの構成性にどのように影響するか？
• RQ2 グラフ構造の表現を用いることで、系列的または順序なしの表現と比較して、入力概念と出現した記号との間でより高いトポグラフィー類似度が達成されるか？
• RQ3 グラフベースのコミュニケーションプロトコルは、既知の入力プロパティの未知の組み合わせに対して、どの程度一般化できるか？
• RQ4 グラフ参照ゲームにおける出現したコミュニケーションプロトコルは、重要な構造的コンポーネントがアブレーションされた場合にどの程度ロバストか？
• RQ5 グラフニューラルネットワークは、従来の系列または集合ベースのモデルと比較して、構成的言語出現のためのより強い帰納的バイアスを提供できるか？

主な発見

• グラフベースのコミュニケーションプロトコルは、系列的またはbag-of-wordsベースのプロトコルと比較して、入力構造とのトポグラフィー類似度が顕著に高いことが示された。
• ドメイン外の既知の入力プロパティの組み合わせに対する一般化において、グラフ参照ゲームが他の構造的プライアよりも優れた性能を示した。
• GNNはより構造的で構成的な帰納的バイアスを誘導し、より体系的かつ解釈可能な出現したコミュニケーションをもたらした。
• アブレーションスタディの結果、グラフ構造がコミュニケーションプロトコルのロバストネスとパフォーマンスを維持するために不可欠であることが確認された。
• グラフベースの設定における出現言語は、構造的摂動に対してより高い耐性を示し、安定的かつ構造的な学習が行われていることを示している。
• 結果から、マルチエージェントコミュニケーションにおける構成的理解の促進において、グラフ構造的帰納的バイアスが特に効果的であることが示唆された。