[論文レビュー] Compositional properties of emergent languages in deep learning

Bence Keresztury, Elia Bruni|arXiv (Cornell University)|Jan 23, 2020

Language and cultural evolution参考文献 15被引用数 4

ひとこと要約

本論文は、マルチエージェントディープ強化学習における出現的言語の構成的性質を、体系的一般化と表現の分離性のテストを通じて調査している。未知のオブジェクトの組み合わせを含む視覚的質問応答タスクを用いて、エージェントがトレーニング分布を超えて一般化できないこと、抽象的で構成的な表現をエンコードしていないこと（代わりにデータセット固有の規則性に依存していること）を発見した。これは、表面的な通信成功にもかかわらず、構成的推論が限定的であることを示している。

ABSTRACT

Recent findings in multi-agent deep learning systems point towards the emergence of compositional languages. These claims are often made without exact analysis or testing of the language. In this work, we analyze the emergent language resulting from two different cooperative multi-agent game with more exact measures for compositionality. Our findings suggest that solutions found by deep learning models are often lacking the ability to reason on an abstract level therefore failing to generalize the learned knowledge to out of the training distribution examples. Strategies for testing compositional capacities and emergence of human-level concepts are discussed.

研究の動機と目的

• 出現的言語が真の構成的一般化を示すかどうかを厳密にテストすること。
• エージェントが人間レベルの抽象的概念を学習するのか、それともデータセット固有の規則性にのみ依存するのかを評価すること。
• ネットワーク全体におけるメッセージの表現構造と活性化の構造を評価し、分離可能で再利用可能な知識の証拠を求める。
• 視覚的インスペクションや手動ラベルに基づく構成性の主張を挑戦するため、体系的な診断テストを導入すること。
• 出現的言語研究におけるより強固なメトリクスと分布外一般化ベンチマークの導入を提唱すること。

提案手法

• 未知のオブジェクトと関係の組み合わせを含む視覚的質問応答タスク（SQOOP）を用いて、体系的一般化をテストする。
• コサイン距離相関を用いて、視覚的表現、送信者、受信者の表現間の表現的類似度を測定する。
• メッセージ埋め込みからキャラクタの識別子を回復できるかどうかをテストするため、診断分類器を訓練する。
• 1〜5個のキャラクタを含む画像に対してモデルを評価し、構成性のスケーラビリティを評価する。
• エージェント間および層間の表現空間の整合性を評価するため、トポロジカル類似度スコアを計算する。
• トレーニング中に存在しなかったオブジェクト・関係の組み合わせを用いて、分布外一般化をテストする。

実験結果

リサーチクエスチョン

• RQ1 出現的言語は、既知のオブジェクトと関係の未知の組み合わせにどの程度一般化できるか？
• RQ2 エージェントはメッセージ内で個々のキャラクタの分離可能で抽象的な表現をエンコードしているか？
• RQ3 送信者および受信者の表現は、視覚的入力および互いにどの程度整合しているか？
• RQ4 診断分類器はメッセージ埋め込みからキャラクタの識別子を再構築できるか？これは構成的構造の有無を示唆する。
• RQ5 離散的通信ボトルネックの存在は、体系的一般化を促進するか、妨げるか？

主な発見

• エージェントはオブジェクトと関係の分布外の組み合わせに対して一般化に失敗しており、体系的一般化が不十分であることが示された。
• 診断分類器はメッセージ埋め込みからキャラクタの識別子を回復できず、メッセージが分離可能で構成的な特徴をエンコードしていないことが示された。
• 表現的類似度スコアから、送信者と受信者の表現は部分的にしか一致しておらず、視覚的入力と受信者表現の間で誤差が増大していることがわかった。
• 最高の表現的整合性は5キャラクタ条件で観察されたが、これはエージェントが抽象的概念ではなく低レベル特徴に注目している可能性を示唆している。
• 視覚的表現も画像の高レベル概念的性質を完全に捉えておらず、抽象的言語の出現を制限している。
• 結果から、出現的通信はしばしばデータセット固有の規則性に依存しており、再利用可能で構成的なルールを学習していないことが示唆された。