[論文レビュー] Emergence of Compositional Language with Deep Generational Transmission

Michael Cogswell, Jiasen Lu+3 more|arXiv (Cornell University)|Apr 19, 2019

Language and cultural evolution参考文献 47被引用数 36

ひとこと要約

本論文は、ニューラル対話エージェントの定期的な置換（世代的伝達）が文化的伝達を誘発し、出現する言語における構成的一般化を高めることを示している。

ABSTRACT

Recent work has studied the emergence of language among deep reinforcement learning agents that must collaborate to solve a task. Of particular interest are the factors that cause language to be compositional -- i.e., express meaning by combining words which themselves have meaning. Evolutionary linguists have found that in addition to structural priors like those already studied in deep learning, the dynamics of transmitting language from generation to generation contribute significantly to the emergence of compositionality. In this paper, we introduce these cultural evolutionary dynamics into language emergence by periodically replacing agents in a population to create a knowledge gap, implicitly inducing cultural transmission of language. We show that this implicit cultural transmission encourages the resulting languages to exhibit better compositional generalization.

研究の動機と目的

• 言語進化を誘発するために、定期的なエージェント置換として文化的伝達を動機づけ・モデル化する。
• 世代ダイナミクスが、構成性のための表現力があり、圧縮可能な言語を促進することを示す。
• 置換が組成的に新しい属性組み合わせへのより良い一般化をもたらすかどうかを評価する。

提案手法

• Q-botsとA-botsの集団を組み込んだ協調的な Task & Talk ダイアログゲームを拡張する。
• 文化的伝達を模倣するために、定期的な再初期化（エージェント置換）を導入する。
• マルチエージェント設定でポリシー勾配を用いて訓練し、置換戦略（均一ランダム、ε-グリーディ、最古）を比較する。
• 過完備性とメモリ設定を用いて、新規ペアおよび新規インスタンスデータセットで構成的一般化を検証する。
• トークン分布間のKLダイバージェンスを介して文化的伝達を証拠づけるため、エージェント間の言語類似性を測定する。
• エージェント間のコミュニケーションにおける構成的構造を示すために出現言語を可視化する。

実験結果

リサーチクエスチョン

• RQ1 定期的なエージェント置換はニューラル対話エージェントにおける文化的伝達を誘発するのか？
• RQ2 暗黙の文化的伝達は、伝達なしのベースラインと比較して構成的一般化を改善するのか？
• RQ3 異なる置換戦略は言語の構成性と学習効率にどう影響するのか？
• RQ4 出現言語は定性的な可視化から構成的で解釈可能か？
• RQ5 メモリと語彙サイズは世代的伝達とどのように相互作用して結果に影響を与えるのか？

主な発見

• 定期的な置換による文化的伝達は構成的一般化を向上させ、難易度の高いデータセットで最良の構成においてテスト精度を最大46%まで引き上げる。
• 置換を伴うマルチエージェント集団は、置換なしのベースラインよりもエージェント間でより類似した言語を示し、伝搬を示唆している。
• 置換戦略はさまざまな語彙とメモリ設定の下で常に置換なしのベースラインを上回る。
• メモリなしまたは小さな語彙設定で最も強い構成的利得が見られ、言語出現のこれまでの研究と一致している。
• 言語の可視化は、出現トークンが分離された形状と色の属性に対応することを示しており、構成的構造を立証している。