[論文レビュー] Compositional Languages Emerge in a Neural Iterated Learning Model

Yi Ren, Shangmin Guo+3 more|arXiv (Cornell University)|Feb 4, 2020

Language and cultural evolution参考文献 24被引用数 34

ひとこと要約

本研究はニューラル反復学習（NIL）アルゴリズムを提案し、トポロジ的類似度 rho が高い言語がニューラルエージェントの参照ゲームにおいて出現し、一般化と学習速度を向上させることを示し、NIL の確率論的分析を提供する。

ABSTRACT

The principle of compositionality, which enables natural language to represent complex concepts via a structured combination of simpler ones, allows us to convey an open-ended set of messages using a limited vocabulary. If compositionality is indeed a natural property of language, we may expect it to appear in communication protocols that are created by neural agents in language games. In this paper, we propose an effective neural iterated learning (NIL) algorithm that, when applied to interacting neural agents, facilitates the emergence of a more structured type of language. Indeed, these languages provide learning speed advantages to neural agents during training, which can be incrementally amplified via NIL. We provide a probabilistic model of NIL and an explanation of why the advantage of compositional language exist. Our experiments confirm our analysis, and also demonstrate that the emerged languages largely improve the generalizing power of the neural agent communication.

研究の動機と目的

• 高いトポロジ的類似性 rho の言語がニューラルエージェント間の通信に出現するかを調査する。
• 話者と聴者エージェントのための組成言語の学習速度利得を定量化する。
• 世代間で組成言語を増幅する NIL（neural iterated learning）を開発する。
• NIL の機構とそのロバスト性を説明する確率論的枠組みを提供する。

提案手法

• Alice（話す）と Bob（聴く）のニューラルエージェントを用いた参照ゲームをMLPとLSTMでモデリング。
• メッセージは語彙からの固定長離散列として定義し、対象は1-hot属性ベクトルとしてエンコード。
• REINFORCEとエントロピー正則化で学習を行う；AliceとBobの勾配表現を提供（式(1)および式(2)）。
• オブジェクト空間の距離とメッセージ空間の距離との間のトポロジ的類似度 rho（X での負コサイン、M でのレベンシュタイン距離）を用いて組成性を測定。
• I 世代にわたる三段階の NIL アルゴリズム（Learning、Interacting、Transmitting）を提案し、高 rho 言語を選択的に強化する。

実験結果

リサーチクエスチョン

• RQ1 高 rho 言語はニューラル話者と聴者に学習速度の利点を与えるか？
• RQ2 NIL は組成言語の出現を増幅し、ニューラルエージェントの一般化を向上させるか？
• RQ3 事前学習と世代リセットは rho の値を高める方向にどのような役割を果たすか？
• RQ4 検証データのパフォーマンスは rho とどのように相関するか（ held-out item）？

主な発見

• 高 rho 言語は参照ゲームにおいて Alice と Bob の両方の学習速度を向上させる。
• NIL は Emergent 言語と意味空間との間のトポロジ的類似性を世代を超えて高める。
• 反復学習手法はリセットなしの訓練より rho の増加と検証性能の向上をもたらし、設定を跨いでロバストである。
• rho と検証性能の間には強い正の相関がある（相関 = 0.928, p = 3.8e-104）。
• rho の成長とタスク性能を最大化する事前学習ラウンドの最適区間が存在する（I_a および I_b）。