[論文レビュー] Biases for Emergent Communication in Multi-agent Reinforcement Learning

Tom Eccles, Yoram Bachrach+3 more|arXiv (Cornell University)|Dec 11, 2019

Evolutionary Algorithms and Applications被引用数 29

ひとこと要約

本論文は、分散型マルチエージェント強化学習における自己組織的通信の向上を目的として、肯定的信号送信および肯定的受信の誘導的バイアスを導入する。発話者に情報性を高めるよう促し、聴取者に注意を向けるよう促す補助損失を追加することにより、単純な環境および時間的に延長された環境の両方において、学習された通信プロトコルの整合性とパフォーマンスが顕著に向上し、両方のバイアスを用いることで最大15.41の最終報酬が達成された。

ABSTRACT

We study the problem of emergent communication, in which language arises because speakers and listeners must communicate information in order to solve tasks. In temporally extended reinforcement learning domains, it has proved hard to learn such communication without centralized training of agents, due in part to a difficult joint exploration problem. We introduce inductive biases for positive signalling and positive listening, which ease this problem. In a simple one-step environment, we demonstrate how these biases ease the learning problem. We also apply our methods to a more extended environment, showing that agents with these inductive biases achieve better performance, and analyse the resulting communication protocols.

研究の動機と目的

• 共同探索が困難である分散型マルチエージェント強化学習における自己組織的通信の学習という課題に対処すること。
• 集中型トレーニングを用いずに、通信プロトコルの整合性と信頼性を向上させること。
• 協力のグリス的原則を、発話者および聴取者エージェントの学習可能な補助損失に形式化すること。
• これらのバイアスが、1ステップ環境および時間的に延長された環境の両方における通信の自己組織的出現をどのように向上させるかを評価すること。
• 得られた通信プロトコルの分析と、タスクパフォーマンスへの影響を検討すること。

提案手法

• 発話者がメッセージの社会的影響を高めるよう促す「肯定的信号送信損失」を提案し、聴取者の注目度を指標として測定する。
• 聴取者が発話者のメッセージに注目を向けるよう促す「肯定的受信損失」を導入し、反応性を向上させる。
• 標準的な RIAL（Reinforced Inter-Agent Learning）フレームワークにこれらの補助損失を追加し、分散型トレーニングおよび実行を維持する。
• 割合の信頼区間を計算するためにウィルソンスコア区間を用い、評価の堅牢性を確保する。
• 発話者のメッセージを固定記号に置き換える干渉ベース分析を用い、聴取者が伝えられた情報を実際に処理しているかを検証する。
• 1ステップのMNIST和算タスクと、時間的依存性を持つグリッドワールド宝探しタスクの2つの環境で本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 肯定的信号送信および受信の誘導的バイアスは、分散型マルチエージェントRLにおける整合的通信の出現を改善できるか？
• RQ2 これらのバイアスは、単純な1ステップ環境における学習ダイナミクスおよび最終パフォーマンスにどのように影響するか？
• RQ3 時間的に延長された環境において、これらのバイアスはより信頼性が高く解釈可能な通信プロトコルを生み出すか？
• RQ4 聴取者の行動は発話者のメッセージにどの程度反応しているか、干渉によってその反応性を検証できるか？
• RQ5 通信プロトコルは、環境状態に関する意味のある情報を伝えていると解釈できるか？

主な発見

• 1ステップMNIST環境では、バイアスなしの28％から、肯定的信号送信および受信の両方のバイアスを適用した場合に94％へと「良い」通信実行の割合が上昇した。
• 両方のバイアスを適用した実行の最終平均報酬は15.41 ± 0.14に達し、バイアスなしの12.45 ± 0.48に比べ顕著に高い水準に達した。
• グリッドワールド環境では、通信を一貫したメッセージに置き換えた場合、トンネルへの訪問時間の中央値がベースラインの100.6 ± 14.7フレームから36.1 ± 3.3フレームに減少し、聴取者の効果的な反応が確認された。
• 中央値の実行における通信プロトコルは強い相関を示した：1つの記号が右端のトンネルに宝が存在することを75％の確率で示していた。
• 最良の実行では、複数の記号が複数のトンネルについて報告されており、より複雑で情報量の多いプロトコルが形成されていた。
• 肯定的信号送信および受信の損失は、微分可能通信や集中型トレーニングを必要とせず、通信の自己組織的出現を向上させた。