[論文レビュー] Learning to Communicate in Multi-Agent Reinforcement Learning : A Review

Mohamed Salah Zaïem, Etienne Bennequin|arXiv (Cornell University)|Nov 13, 2019

Reinforcement Learning in Robotics被引用数 3

ひとこと要約

この論文は、部分的に観察可能な環境における協調的通信戦略を学習できる、Deep Recurrent Q-Networkに基づくモデルに焦点を当て、マルチエージェント強化学習における通信メカニズムをレビューしている。通信プロトコルの質をタスクのパフォーマンスに依存せずに評価するための新しいエントロピーに基づく指標を提案し、協調的・競合的状況における通信コストを調査するための4プレイヤーPong環境を導入している。

ABSTRACT

We consider the issue of multiple agents learning to communicate through reinforcement learning within partially observable environments, with a focus on information asymmetry in the second part of our work. We provide a review of the recent algorithms developed to improve the agents' policy by allowing the sharing of information between agents and the learning of communication strategies, with a focus on Deep Recurrent Q-Network-based models. We also describe recent efforts to interpret the languages generated by these agents and study their properties in an attempt to generate human-language-like sentences. We discuss the metrics used to evaluate the generated communication strategies and propose a novel entropy-based evaluation metric. Finally, we address the issue of the cost of communication and introduce the idea of an experimental setup to expose this cost in cooperative-competitive game.

研究の動機と目的

• 部分的に観察可能な環境における通信を可能にする最近のアルゴリズムをレビューすること。
• エージェントがメッセージ交換を通じて情報を共有する方法、特にDeep Recurrent Q-Networksを用いた方法を分析すること。
• 出現する通信プロトコルの質を、解釈可能性と自然言語に類似した構造に焦点を当てて評価すること。
• タスクに依存しない新しい評価指標をエントロピーに基づいて提案し、通信の有効性を評価すること。
• 新しい実験的設定を通じて、協調的・競合的マルチエージェント環境における通信コストの影響を調査すること。

提案手法

• 個々のエージェントの価値関数を表すために、Deep Q-Networks (DQN) とIndependent DQNをマルチエージェント設定で使用する。
• DQNベースのモデルの学習を安定化させるために、経験リプレイとターゲットネットワークを適用する。
• 言語エントロピーの進化指標を導入：H(m₁,…,mₜ) = −Σₛ pₜ(s) log(pₜ(s)) で、メッセージによる不確実性の低減を測定する。
• 通信制約（プライベート、パブリック、または通信なし）を変化させた4プレイヤーPongゲームの設定を提案し、通信コストを調査する。
• ベイジアンアクションデコーダーを用いて、状態上の事後分布を推定し、エントロピーに基づく指標を計算するために使用する。
• ゼロショットコンポジショナリティ評価を用いて、学習されたメッセージが未観測の概念の組み合わせに一般化できるかをテストする。

実験結果

リサーチクエスチョン

• RQ1 通信チャネルは、部分的に観察可能な環境におけるマルチエージェントポリシーのパフォーマンスをどの程度向上させるか？
• RQ2 出現する通信プロトコルは、構造的・解釈可能性の面で自然言語にどの程度類似しているか？
• RQ3 情報理論的指標を用いることで、タスクパフォーマンスに依存せずに通信プロトコルを評価できるか？
• RQ4 通信コストは、協調的・競合的マルチエージェントゲームにおける戦略的行動にどのように影響するか？
• RQ5 メッセージのエントロピーは、調整タスクにおける通信の識別力の測定にどの程度寄与するか？

主な発見

• エントロピーに基づく指標は、メッセージが引き起こす不確実性の低減を効果的に捉えており、各通信の情報量を示している。
• Hanabiゲームでは、通信の慣習が出現するに従い、ベイジアンアクションデコーダーがパブリック信念分布のエントロピーを低下させた。
• 画像記述タスクで用いられる純度指標は、人間のマクロ表現に偏っており、自然なエージェント間通信を反映していない可能性がある。
• ゼロショットコンポジショナリティ評価から、学習された言語が未観測の概念の組み合わせに一般化できることを示しており、構成的構造があると考えられる。
• 通信可視性を変化させた4プレイヤーPong環境を用いることで、情報共有と競争的反応の間の戦略的トレードオフを調査できるようになった。
• 著者らは、通信コストがチームポリシーの進化に影響を与えることを観察しており、特にメッセージが相手の行動に影響を与える競合的状況で顕著である。