[論文レビュー] Developmentally motivated emergence of compositional communication via template transfer

Tomasz Korbak, Julian Zubek+3 more|arXiv (Cornell University)|Oct 4, 2019

Language and cultural evolution参考文献 34被引用数 25

ひとこと要約

本稿では、複数エージェントシステムにおける出現的構文的通信のためのテンプレート転送手法を提案する。非構文的信号ゲームで訓練された受信者を再利用し、アーキテクチャにインダクティブバイアスを課さずに構文的プロトコルを学習させる。この手法は、ベースラインと比較して優れたゼロショット一般化性能、文脈独立性、およびトポグラフィカル類似度（0.85）を達成し、単純な通信プロトコルにおける学習済みバイアスから構文的通信が出現しうることを示している。

ABSTRACT

This paper explores a novel approach to achieving emergent compositional communication in multi-agent systems. We propose a training regime implementing template transfer, the idea of carrying over learned biases across contexts. In our method, a sender-receiver pair is first trained with disentangled loss functions and then the receiver is transferred to train a new sender with a standard loss. Unlike other methods (e.g. the obverter algorithm), our approach does not require imposing inductive biases on the architecture of the agents. We experimentally show the emergence of compositional communication using topographical similarity, zero-shot generalization and context independence as evaluation metrics. The presented approach is connected to an important line of work in semiotics and developmental psycholinguistics: it supports a conjecture that compositional communication is scaffolded on simpler communication protocols.

研究の動機と目的

• 構文的通信が、既存の非構文的通信プロトコルの適応から生じるかどうかを調査すること。
• より単純なゲームから得た学習済みバイアスが、より複雑な環境における構文的通信の出現を支援するかどうかを検討すること。
• テンプレート転送が、複数エージェント通信システムにおける構文的通信の誘導に有効であるかを評価すること。
• ゼロショット一般化、文脈独立性、トポグラフィカル類似度の観点から、テンプレート転送とオブバーター・アルゴリズムを比較すること。
• 発達心理学および記号学に根ざしたアプローチを採り入れ、構文的通信がアイコン的・インデクシカル的前駆的要因に基づいて構築されるという仮説と整合させること。

提案手法

• 三段階の訓練プロトコル：(i) 視覚分類器の訓練、(ii) 分離可能な損失関数を用いた非構文的物体名付けゲームにおける送信者-受信者ペアの訓練、(iii) 受信者を再利用し、構文的信号ゲームで新しい送信者を訓練する。
• テンプレート転送は、事前学習済み受信者のポリシーを再利用し、標準的な交差エントロピー損失を用いて新しい送信者の訓練をガイドすることで、学習済みバイアスを保持する。
• この手法は、色と形状の予測に分離可能な損失関数のコンponentsに分解することに依存しており、入力の分離を要しないモジュラー学習を可能にする。
• 評価指標には、信号構造を測定するトポグラフィカル類似度、入力変動に対する耐性を評価する文脈独立性、および未観測の物体組み合わせに対する性能を測るゼロショット一般化が含まれる。
• 本手法は、対称的役割と同一アーキテクチャを必要とするオブバーター・アルゴリズム、およびランダム・ベースライン、非事前学習ベースラインと対比される。
• 実験は、5色と5形状を有するルイス信号ゲームを用い、共有の視覚エンコーダと離散的記号列を用いた通信を実施する。

実験結果

リサーチクエスチョン

• RQ1 単純で非構文的な信号ゲームから得た学習済みバイアスの転送によって、構文的通信が出現しうるか？
• RQ2 オブバーター・アルゴリズムやランダムベースラインと比較して、テンプレート転送はより優れたゼロショット一般化性能を示すか？
• RQ3 テンプレート転送の下で、通信プロトコルはどの程度文脈独立性とトポグラフィカル類似度を示すか？
• RQ4 オブバーター・アルゴリズムが要請するようなアーキテクチャ的インダクティブバイアスを課さずに、構文的通信の出現は可能か？
• RQ5 アイコン的／インデクシカル的から構文的通信への発達的進行は、マルチエージェントシステムにおける転移学習によってモデル化可能か？

主な発見

• テンプレート転送はトポグラフィカル類似度スコア0.85を達成し、オブバーター・ベースライン（0.55）と非事前学習ベースライン（0.30）を大きく上回り、より構造的かつ構文的な信号であることを示している。
• 本手法は、未観測の物体組み合わせにおいて平均74%のテスト精度を達成し、オブバーター（51%）と非事前学習ベースライン（47%）を上回り、優れたゼロショット一般化性能を示している。
• 文脈独立性はテンプレート転送で0.18、オブバーターで0.12、ベースラインで0.08であったため、入力変動に対する耐性がより高いことが示された。
• テンプレート転送で訓練されたモデルは、色と形状の両方でトレーニング精度100%、テスト精度48%を示し、トレーニング分布への過学習を回避した有効な学習が行われたことを示している。
• テンプレート転送で学習された通信プロトコルは明確な構文的構造を示しており、たとえば表2(b)に示すように、記号'8'が最初の位置にあるとマゼンタを、2番目の位置にあるとボックスを一貫して表している。
• 結果は、構文的通信が、アーキテクチャ的インダクティブバイアスを必要とせず、単純で既存の通信プロトコルからの転移学習によって出現しうることを支持している。