[論文レビュー] Emergence of Language with Multi-agent Games: Learning to Communicate with Sequences of Symbols

Serhii Havrylov, Ivan Titov|arXiv (Cornell University)|May 31, 2017

Language and cultural evolution被引用数 153

ひとこと要約

tldr: 本論文は、参照ゲームにおける離散記号の列を介して通信する二つのニューラルエージェントを訓練し、straight-through Gumbel-softmaxがより速い収束とより豊かで構成的なプロトコルを可能にすることを示し、自然言語 grounding の探求を行う。

ABSTRACT

Learning to communicate through interaction, rather than relying on explicit supervision, is often considered a prerequisite for developing a general AI. We study a setting where two agents engage in playing a referential game and, from scratch, develop a communication protocol necessary to succeed in this game. Unlike previous work, we require that messages they exchange, both at train and test time, are in the form of a language (i.e. sequences of discrete symbols). We compare a reinforcement learning approach and one using a differentiable relaxation (straight-through Gumbel-softmax estimator) and observe that the latter is much faster to converge and it results in more effective protocols. Interestingly, we also observe that the protocol we induce by optimizing the communication success exhibits a degree of compositionality and variability (i.e. the same information can be phrased in different ways), both properties characteristic of natural languages. As the ultimate goal is to ensure that communication is accomplished in natural language, we also perform experiments where we inject prior information about natural language into our model and study properties of the resulting protocol.

研究の動機と目的

• 監督なしの相互作用から通信を学習する動機づけ。
• 参照ゲームにおける離散記号の列としての言語の自発的出現を示す。
• 効率とプロトコル品質の観点から、学習法（REINFORCE 対 straight-through Gumbel-softmax）の比較。
• 誘導された言語の特性（構成性やパラフレーズ様の変動性を含む）を調査。
• 自然言語への間接的および直接的グラウンディングを探る。

提案手法

• エージェントはLSTMs（送信者Sと受信者R）で、ターゲット画像とメッセージ m に作用し、語彙 V から長さ L までのトークン列として生成される。
• メッセージは離散的で、勾配は REINFORCE による推定、または訓練時に直通 (ST-GS) を用いた Gumbel-softmax (GS) の微分可能な緩和により推定される。
• GS-ST はフォワードパスで離散化し、バックワードパスで連続緩和を用いることにより、エンドツーエンド微分可能性を可能にする。
• 損失はメッセージに基づいて受信者が distractors の中からターゲット画像を識別することを奨励する。
• 二つのグラウンディング戦略を検討：自然言語言語モデルを用いたKL(qφ(m|t) || pω(m)) による間接的グラウンディング、および画像キャプション指導による直接的グラウンディング。
• Gumbel-softmax の温度はトレーニングを安定化させるために毎ステップで学習され（τ(hs_i)）、学習された逆温度関数の影響を受ける。）

実験結果

リサーチクエスチョン

• RQ1 二つのエージェントは、参照ゲームにおいて、意味のある離散記号の通信プロトコルをゼロから開発できるか？
• RQ2 straight-through Gumbel-softmax は、離散言語プロトコルの学習において REINFORCE より速く効果的か？
• RQ3 自発的に生じたプロトコルは、自然言語に類似した構成性とパラフレーズのような変動性を示すか？
• RQ4 自然言語への間接的または直接的なグラウンディングは、解釈性を向上させるか、人間の言語特性と整合するか？

主な発見

• Straight-through Gumbel-softmax は、参照ゲームにおける記号列プロトコルの学習において REINFORCE より収束が速い。
• 長いメッセージ（高い L）はより速い収束を助け、同じ内容のより冗長な（パラフレーズ的な）符号化を生む。
• 誘導されたプロトコルは、階層的なエンコードに似た特性と、同じ意味内容に対する複数のパラフレーズを示す。
• グラウンディング手法（間接的 KL 正則化およびオプションのキャプショニング損失）は、出現通信を自然言語統計と整合させ、解釈性を高めることができる。
• 自然言語グラウンディングと比較して、グラウンディングされたプロトコルは、同程度の通信成功を達成しつつ omission-score が異なり、内容語と機能語の区別との部分的整合を示唆する。
• ST-GS の勾配方向は本タスクに対して擬似勾配として機能し、信頼できる最適化指針を提供する。