[論文レビュー] Inductive Bias and Language Expressivity in Emergent Communication

Shangmin Guo, Yihao Ren+2 more|arXiv (Cornell University)|Dec 4, 2020

Language and cultural evolution参考文献 23被引用数 4

ひとこと要約

本論文は、言語ゲームの設計（参照ゲームと再構築ゲーム）が、出現的コミュニケーションにおける異なる帰納的バイアスを引き起こす仕組みを調査し、参照ゲームはより構成的（compositional）な言語を生み出すのに対し、再構築ゲームはより高い言語表現力（expressivity）をもたらすことを発見した。記号データセットを用いた実証的結果から、再構築ベースの言語は新しいタスクへの一般化性能が優れていることが示され、ゲームの種別が出現的言語の特性を決定づけることが明らかになった。

ABSTRACT

Referential games and reconstruction games are the most common game types for studying emergent languages. We investigate how the type of the language game affects the emergent language in terms of: i) language compositionality and ii) transfer of an emergent language to a task different from its origin, which we refer to as language expressivity. With empirical experiments on a handcrafted symbolic dataset, we show that languages emerged from different games have different compositionality and further different expressivity.

研究の動機と目的

• 言語ゲームの種別（参照対比 vs. 再構築）が、出現的言語の構成性（compositionality）と表現力（expressivity）にどのように影響するかを調査すること。
• 異なる下流タスクにおける出現的言語の一般化性能を測定・比較すること。
• 特定のゲーム設計が、構成性や情報豊かさといった自然言語に類似した性質を内蔵的に促進するかどうかを評価すること。
• マルチエージェント強化学習における出現的コミュニケーションプロトコルがゲーム設計によってどのように形作られるか、実証的証拠を提供すること。

提案手法

• 216サンプル（3属性、各6値）の手作業で作成された記号データセットを用いた実証的評価（訓練173サンプル、テスト43サンプル）。
• 参照ゲームおよび再構築ゲームの両方において、EGGフレームワークを用いたマルチエージェント強化学習システムの訓練。
• 構造的分解の評価のため、トポロジカル類似度メトリクスを用いて構成性を測定。
• ゼロショット一般化を用いた表現力の評価：あるゲームタイプからのメッセージで訓練した聴取エージェントを、別のゲームタイプでテスト。
• 評価指標として平均二乗誤差（MSE）と正答率を用い、性能差の統計的有意性をt検定で評価。

実験結果

リサーチクエスチョン

• RQ1 ゲームの種別（参照対比 vs. 再構築）が、出現的言語の構成性にどのように影響するか？
• RQ2 あるゲームタイプから出現した言語が、異なるタスク（例：参照ゲームから再構築ゲームへの転送）にどの程度一般化できるか？
• RQ3 どのゲーム設計が、情報量と一般化能力の観点から、出現的コミュニケーションにおいてより高い表現力をもたらすか？
• RQ4 ゲーム構造がもたらす帰納的バイアスが、出現的言語の学習可能性および構造的性質にどのように影響するか？

主な発見

• 参照ゲームから出現する言語は、属性の識別を内蔵する目的があるため、再構築ゲームから出現する言語よりも顕著に高い構成性を示す。
• 再構築ゲームから出現する言語は、より優れた表現力を示し、再構築タスクにおける一般化性能が顕著に優れている（p ≈ 5.1×10⁻⁶⁴）。
• 参照ゲームにおいて、再構築ベースの言語の一般化性能は参照ベースの言語と同等である（p = 0.74）ため、強力な転送性が示された。
• 再構築ゲームから出現する言語は、新しいタスクへの一般化がより優れているため、より高い情報含量と表現力を示している。
• 結果から、ゲーム設計が出現的言語の特性を決定づける重要な要因であることが確認され、再構築ゲームは表現力を、参照ゲームは構成性を促進することがわかった。
• 本研究は、ゲーム設計から生じる帰納的バイアスが、出現的言語の構造的性質（構成性）と機能的有用性（表現力）の両方に直接的に影響することを実証的証拠で示している。