[論文レビュー] Bayesian Action Decoder for Deep Multi-Agent Reinforcement Learning

Jakob Foerster, Francis Song+6 more|arXiv (Cornell University)|Nov 4, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 49

ひとこと要約

BAD は 公共信念フレームワーク (PuB-MDP) を導入し、協調的な部分観測マルチエージェント強化学習におけるスケーラブルな反事実推論を可能にし、Hanabi の最先端結果を達成する。

ABSTRACT

When observing the actions of others, humans make inferences about why they acted as they did, and what this implies about the world; humans also use the fact that their actions will be interpreted in this manner, allowing them to act informatively and thereby communicate efficiently with others. Although learning algorithms have recently achieved superhuman performance in a number of two-player, zero-sum games, scalable multi-agent reinforcement learning algorithms that can discover effective strategies and conventions in complex, partially observable settings have proven elusive. We present the Bayesian action decoder (BAD), a new multi-agent learning method that uses an approximate Bayesian update to obtain a public belief that conditions on the actions taken by all agents in the environment. BAD introduces a new Markov decision process, the public belief MDP, in which the action space consists of all deterministic partial policies, and exploits the fact that an agent acting only on this public belief state can still learn to use its private information if the action space is augmented to be over all partial policies mapping private information into environment actions. The Bayesian update is closely related to the theory of mind reasoning that humans carry out when observing others' actions. We first validate BAD on a proof-of-principle two-step matrix game, where it outperforms policy gradient methods; we then evaluate BAD on the challenging, cooperative partial-information card game Hanabi, where, in the two-player setting, it surpasses all previously published learning and hand-coded approaches, establishing a new state of the art.

研究の動機と目的

• 協調的で部分観測的なマルチエージェント設定において、効果的なコミュニケーションと規約を学習させる動機づけ。
• 私的情報を持つエージェントを調整するための、スケーラブルな公共信念フレームワーク（PuB-MDP）を導入。
• 深層ネットワークを用いて私的観測に条件付けられた決定論的部分方策を学習する方法を開発。
• おもちゃ問題とHanabi実験でベースラインより改善した性能を示す。

提案手法

• 公共信念 B_t を P(f Pri | f pub≤t) と定義し、状態を (B_t, f pub)、作用空間を決定論的な部分方策とする PuB-MDP を構築。
• 公共エージェント BAD を導入し、B_t および f pub に基づいて部分方策を選択、作用エージェントは私的観測を用いて環境行動を選択。
• 各特徴の尤度とサンプルベースの更新を用いて B_t を維持する、近似的で因子分解されたベイズ更新を適用。
• 私的観測間で因子化された構造を持つ部分方策上に BAD ポリシーをパラメータ化し、深層ネットワークによるスケーラブルな学習を可能にする。
• 全エージェントが同じ BAD ポリシーをサンプリングするよう共通のランダム種を共有し、チームとして協調的探索を可能にする。
• 特徴間相互作用に対処する自己一致型信念の refined を任意で実施（V0, V1, V2 信念）と一貫性の向上。

実験結果

リサーチクエスチョン

• RQ1 公共信念 MDP (PuB-MDP) は、私的観測を伴う協調 MARL における通信に基づく規約のスケーラブルな学習を可能にするか。
• RQ2 公共信念上の因子分解された近似ベイズ更新は、Hanabi のような大規模状態空間で実践的な性能向上をもたらすか。
• RQ3 BAD は、 policy-gradient ベースラインや手作りエージェントとどのように比較されるか。
• RQ4 BAD の下で、規約（ grounding information に対して） は Hanabi の性能にどの程度寄与するか。

主な発見

エージェント	学習ステップ	平均 ± s.e.m.	完全率
SmartBot	-	23.09	29.52%
FireFlower	-	23.37 ± 0.0002	52.6%
V0-LSTM	20.2B	23.622 ± 0.005	36.5%
V1-LSTM	21.1B	23.919 ± 0.004	47.5%
BAD	16.3B	24.174 ± 0.004	58.6%

• BAD は、原理実証的な 二段階行列ゲームにおいて policy-gradient ベースラインを上回る。
• 2人 Hanabi で平均 24.174 点を達成、 prior 学習法より約 9 点上回り、オープンハンドのチーティング性能に近づく。
• 評価下で完璧ゲームの高い割合を達成（表1で 58.6%）。
• ベイズ更新で学習した信念は、grounded-inference ベースラインと比較して手札の不確実性を約 40% 減らす。
• Hanabi のやりとりの約 40% は実 game 行動分析から、規約によって伝達される。
• BAD は two-player self-play における Hanabi Learning Environment で新しい最先端を確立。