[論文レビュー] Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

Angeliki Lazaridou, Karl Moritz Hermann+2 more|arXiv (Cornell University)|Apr 11, 2018

Language and cultural evolution被引用数 40

ひとこと要約

この論文は、参照ゲームでコミュニケーションをとる強化学習エージェントを、まず象徴的入力、次にピクセル入力で訓練し、構造化された入力がより組成的な言語を促進する一方、raw-pixel入力は grounding および構造の出現に課題をもたらすことを示す。

ABSTRACT

The ability of algorithms to evolve or learn (compositional) communication protocols has traditionally been studied in the language evolution literature through the use of emergent communication tasks. Here we scale up this research by using contemporary deep learning methods and by training reinforcement-learning neural network agents on referential communication games. We extend previous work, in which agents were trained in symbolic environments, by developing agents which are able to learn from raw pixel data, a more challenging and realistic input representation. We find that the degree of structure found in the input data affects the nature of the emerged protocols, and thereby corroborate the hypothesis that structured compositional language is most likely to emerge when agents perceive the world as being structured.

研究の動機と目的

• 環境の構造と入力表現が、参照ゲームにおける出現的コミュニケーションにどのように影響するかを調査する。
• 先行の象徴入力研究を生のピクセル入力へ拡張し、言語出現における現実性と grounding を評価する。
• 異なる入力 regime とタスク設定の下で、構成的な構造がどのように出現するか、また出現するかを調べる。

提案手法

• 参照ゲームにおいてターゲットオブジェクトの識別成功を最大化するように、強化学習で訓練された協力エージェント（話者と聞き手）のモデルを構築する。
• オブジェクトは、二値属性ベクトル（象徴的で解離済み）として表現するか、または生のピクセル画像（絡み合っている）として表現する。
• 話者はターゲットを密ベクトル u に符号化し、次に LSTM デコーダを介してアルファベット A から離散的で可変長のメッセージ m を出力する。
• 聞き手は候補オブジェクトを密表現に符号化し、別の LSTM を用いてメッセージを z に処理し、Gibbs ベースの指差しモジュールでターゲットを選択する。
• 探索を維持するためのエントロピー正則化を含む REINFORCE で、すべての重みを共同最適化する。
• 性能、未知のオブジェクトへの一般化、および意味空間と信号空間のトポグラフィック類似性を比較する。

実験結果

リサーチクエスチョン

• RQ1 象徴的入力とピクセル入力の両方を用いたエンドツーエンド訓練を行う参照ゲームにおいて、コミュニケーションプロトコルが出現するか？
• RQ2 入力構造（解離した属性 vs.絡み合ったピクセルデータ）が、構成性と一般化の出現にどのように影響するか？
• RQ3 学習済み言語とその構造に対する、分散させた注意対象（ディストラクター）の分布と文脈的共起の影響は何か？
• RQ4 ピクセル入力から生じた出現プロトコルは、意味と信号の間にトポグラフィック類似性を示すことができるか？

主な発見

• 象徴的入力とピクセル入力の双方の設定で高いコミュニケーション成功率を達成する（長いメッセージの場合の訓練データで約98%程度まで）。
• 長い最大メッセージ長は語彙を拡大させ、メッセージと概念の一対一対応を増やし、曖昧さを低減する。
• 象徴的入力では、出現メッセージは正のトポグラフィック類似性を示し、接頭辞がカテゴリ情報を符号化する（例: mammal, vehicle）。
• ピクセル入力でも高精度を達成し（例: game A で 93.7%）、トポグラフィック類似性を示すが、プロトコルは不安定になりやすく、ゲームの制約に強く依存し、場合によっては場当たり的な命名規約を生み出す。
• 解離が、より構造化された言語を可能にする重要な要因として特定される。入力が絡み合っている（ピクセルデータ）の場合、変動要因を整理することが難しく、構成性が低下する。
• 文脈的ディストラクタ分布は言語学習の動力学と一般化の程度に影響を与え、文脈依存のディストラクタは収束を遅らせることもあるが、類似性に基づく混乱を減らす可能性がある。
• ピクセルベースの設定では、視覚表現が位置情報を一貫して符号化することを示す探査結果で、ゲームごとに色や形の予測力は異なる。