[論文レビュー] Ease-of-Teaching and Language Structure from Emergent Communication

Fushan Li, Michael Bowling|arXiv (Cornell University)|Jun 6, 2019

Language and cultural evolutionSocial Sciences参考文献 30被引用数 17

ひとこと要約

本論文は、言語を教えることを容易にするために、リスナーの定期的リセットを用いて環境的圧力を急激に高める、新たなトレーニング方式を提案する。リスナーを再設定することでエージェントが新しいリスナーと再び通信を迫られることで、より構造的で構成的で教えるのに適した言語が生まれる。特に、リセットを同時に実行するほうが、ずれず段階的に実行する場合よりも、言語の学習可能性とトポグラフィー的類似性において顕著な向上を示す。

ABSTRACT

Artificial agents have been shown to learn to communicate when needed to complete a cooperative task. Some level of language structure (e.g., compositionality) has been found in the learned communication protocols. This observed structure is often the result of specific environmental pressures during training. By introducing new agents periodically to replace old ones, sequentially and within a population, we explore such a new pressure -- ease of teaching -- and show its impact on the structure of the resulting language.

研究の動機と目的

• 多エージェント強化学習における自己発生的コミュニケーションプロトコルの設計原動力として、教える容易性が有効であるかを検証すること。
• 具体的には、新しいリスナーを教える必要という環境的圧力が、構成的かつ構造的な言語の出現をどのように促進するかを検討すること。
• 同時にリセットするか段階的にリセットするかの違いが、言語の学習可能性および構造的特性に与える影響を比較すること。
• 急激なトレーニングのシフトに伴い発生するポリシーのエントロピーの増加が、より教えるのに適した、構造的なコミュニケーションを促進するかを評価すること。

提案手法

• 参照ゲームの設定を用い、発話者が固定長のメッセージでターゲットオブジェクトを伝える。リスナーは5つの候補の中から正しいオブジェクトを選択する。
• 発話者のポリシーは、探索性と適応性を高めるためにエントロピー正則化項を含む強化学習で訓練される。
• トレーニング集団に定期的に新しいリスナーが導入され、これは動的で変化し続ける教える環境を模倣する。リセットは同時に実施するか、段階的に実施する。
• トレーニングの設定ではリスナーポピュレーションサイズを1、2、10として、成功確率とエントロピーのダイナミクスを時間経過とともにモニタリングする。
• 教える容易性は、転移学習プロトコルを用いて、新しいリスナーが言語をどれだけ素早く学べるかを測定することで評価される。
• 言語の構造は、自己発生的コミュニケーションにおける構成的構造を測る指標であるトポグラフィー的類似性を用いて定量化される。

実験結果

リサーチクエスチョン

• RQ1 定期的に新しいリスナーを導入することは、教えるのに容易な言語の出現を促進するか？
• RQ2 リスナーの導入タイミング（同時に vs. 段階的に）が、言語の構造および教える容易性に与える影響は何か？
• RQ3 リスナーリセットによって引き起こされる急激な環境的変化が、ポリシーのエントロピーを増加させ、構成的言語の出現を促進する程度はどの程度か？
• RQ4 新しいエージェントを教える圧力が、より構造的で圧縮可能なコミュニケーションプロトコルの出現を促進するか？
• RQ5 大規模なポピュレーションは言語の学習可能性に有益であるか、それとも教える圧力を希釈させるか？

主な発見

• 全リスナーを同時にリセットすると、教える容易性とトポグラフィー的類似性が最も高くなり、より構造的で学習しやすい言語が得られる。
• 定期的リセットが施された言語は、リセットなしの言語よりも顕著に教えるのに容易である。特に、同時にリセットする場合にその改善は顕著である。
• リスナーリセットに伴い、発話者のポリシーのエントロピーが急激に上昇する。特に小規模なポピュレーションでは、教えるのに適した言語への再構成メカニズムが示唆される。
• 大規模なポピュレーション（例：N=10）における段階的リセットはトレーニングのダイナミクスをなめらかにするが、構造的言語の出現への圧力を弱め、効果を薄める。
• トレーニングの目的に急激な変化がない（例：大規模なポピュレーションで段階的なリスナーチェンジが行われる）場合、教えるのに適した構造的言語の出現が弱まる。
• 明確なポピュレーション圧力がない状況でも、大規模なポピュレーションではリセットなしでも言語の構造がわずかに向上するが、リセットが施された条件に比べてはるかに小さい。