[論文レビュー] Emergent Multi-Agent Communication in the Deep Learning Era

Angeliki Lazaridou, Marco Baroni|arXiv (Cornell University)|Jun 3, 2020

Language and cultural evolution参考文献 107被引用数 32

ひとこと要約

この論文は、深層学習エージェントが協力的および競争的設定で発現的コミュニケーションをどのように発展させるかを概観し、これらの言語を研究・解釈する方法を分析し、AIの協調と人間–機械の相互作用を改善するための道を議論します。

ABSTRACT

The ability to cooperate through language is a defining feature of humans. As the perceptual, motory and planning capabilities of deep artificial networks increase, researchers are studying whether they also can develop a shared language to interact. From a scientific perspective, understanding the conditions under which language evolves in communities of deep agents and its emergent features can shed light on human language evolution. From an applied perspective, endowing deep networks with the ability to solve problems interactively by communicating with each other and with us should make them more flexible and useful in everyday life. This article surveys representative recent language emergence studies from both of these two angles.

研究の動機と目的

• 人間の言語進化を理解し、柔軟で対話的なAIを作る手段として、言語出現の研究を動機づける。
• 単純な指示ゲームから、深層エージェントを用いた複雑で知覚的に豊かな環境への進展を概観する。
• 出現プロトコルを解読し、真のコミュニケーションを評価するための分析手法を論じる。
• 出現的コミュニケーションがエージェント間の協調を改善し、より良い人間–機械の相互作用を可能にする方法を探る。

提案手法

• 連続的な通信と離散的な通信を説明し、それらが学習と逆伝播に与える影響を解説する。
• 指示ゲーム、複数ターンの相互作用、実体化された3D環境を用いた代表的研究を要約する。
• 真のコミュニケーションを確立するための信号伝達、受信、因果的影響の分析指標を検討する。
• 構成性の測度と、それが表現の一般化と絡み合いの解消（ディスエンタングルメント）にどう関連するかを論じる。
• 教師付きグラウンディング、反復学習、事前学習モデルを通じて出現言語を自然言語に整合させるアプローチを概説する。

実験結果

リサーチクエスチョン

• RQ1 深層エージェントのコミュニティはどのような条件で実質的な情報内容を持つ通信プロトコルを発展させるか。
• RQ2 出現言語における真のコミュニケーションと退化した戦略をどのように定量化・検証するか。
• RQ3 出現プロトコルの構成性と一般化を促進する要因は何か。
• RQ4 出現的コミュニケーションを活用してエージェント間の協調と人間–機械協力を向上させるにはどうすればよいか。

主な発見

• 出現言語はしばしば離散的ボトルネックに依存し、人間と同様の意味論から逸脱することがあるため、意味のあるコミュニケーションを確認するには慎重な分析が必要である。
• 連続的な通信は一般に協調を高める一方、離散チャネルは専門的な訓練なしでは複雑な環境で苦戦することがある。
• 出現言語の構成性は保証されず、特定のバイアス、表現、コミュニティのダイナミクスの下で出現することがある。
• 人間–機械の相互作用は、出現言語を自然言語または監督付きでグラウンディングすることから利益を得て、言語ドリフトを減らし解釈性を向上させる。
• エージェント間の協調と語用偏りは、社会的または協力的なインセンティブとグラウンディングされた通信目的を組み込むことで強化され得る。
• 人間が自然言語ベースのチープ・トークを用いて機械と相互作用する場合、非言語的通信と比較して協調が向上する。