[論文レビュー] Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning

Hengyuan Hu, Jakob Foerster|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 17

ひとこと要約

本論文では、協調的通信を向上させるために、トレーニング中にチームメイトのグリーディ行動を推論できるようにする、深層多エージェント強化学習手法であるSimplified Action Decoder（SAD）を紹介する。集中型トレーニングを活用して意図をデコードし、補助的な状態予測タスクを用いることで、SADは2〜5人での自己対戦Hanabi設定において最先端の性能を達成し、協調的マルチエージェントRLにおける探索と情報性のトレードオフを解消する。

ABSTRACT

In recent years we have seen fast progress on a number of benchmark problems in AI, with modern methods achieving near or super human performance in Go, Poker and Dota. One common aspect of all of these challenges is that they are by design adversarial or, technically speaking, zero-sum. In contrast to these settings, success in the real world commonly requires humans to collaborate and communicate with others, in settings that are, at least partially, cooperative. In the last year, the card game Hanabi has been established as a new benchmark environment for AI to fill this gap. In particular, Hanabi is interesting to humans since it is entirely focused on theory of mind, i.e. the ability to effectively reason over the intentions, beliefs and point of view of other agents when observing their actions. Learning to be informative when observed by others is an interesting challenge for Reinforcement Learning (RL): Fundamentally, RL requires agents to explore in order to discover good policies. However, when done naively, this randomness will inherently make their actions less informative to others during training. We present a new deep multi-agent RL method, the Simplified Action Decoder (SAD), which resolves this contradiction exploiting the centralized training phase. During training SAD allows other agents to not only observe the (exploratory) action chosen, but agents instead also observe the greedy action of their team mates. By combining this simple intuition with an auxiliary task for state prediction and best practices for multi-agent learning, SAD establishes a new state of the art for 2-5 players on the self-play part of the Hanabi challenge.

研究の動機と目的

• 協調的マルチエージェント強化学習における探索と情報性のバランスをとる課題に対処すること。
• トレーニング中の探索的行動にもかかわらず、エージェントがチームメイトの意図した行動を推論できるようにすること。
• Hanabiのような部分的に観測可能な協調的環境における通信効率を向上させること。
• 探索的行動がトレーニング中に情報共有を減少させるという本質的な矛盾を克服すること。
• 単純だが効果的なアーキテクチャを用いて、2〜5人での自己対戦Hanabiにおいて新たな最先端の性能を確立すること。

提案手法

• エージェントが自らの探索的行動に加え、チームメイトのグリーディ行動も観測できる集中型トレーニングメカニズムを導入すること。
• 政策出力からチームメイトの意図した行動を再構成するための簡素化されたアクションデコーダーヘッドを用いること。
• 政策一般化と通信の向上を図るために、補助的な状態予測タスクを組み込むこと。
• カリキュラム学習や価値関数正則化を含む、マルチエージェントRLのベストプラクティスを活用すること。
• 内部の密集報酬と補助的な状態予測損失の組み合わせにより、ポリシーをエンドツーエンドで訓練すること。
• エージェントが行動が確率的であっても、意図を推論できるようにすることで、探索と通信を分離すること。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にチームメイトの意図をデコードすることで、Hanabiのような部分的に観測可能な環境における協調的マルチエージェント通信を改善できるか？
• RQ2 グリーディ行動の集中型デコーダーを組み込むと、協調的マルチエージェントRLにおける性能にどのような影響を与えるか？
• RQ3 補助的な状態予測タスクは、協調的設定における通信とポリシー学習にどの程度寄与するか？
• RQ4 単純なアーキテクチャの変更で、協調的マルチエージェントRLにおける探索と情報性のトレードオフを解消できるか？
• RQ5 提案手法は、2〜5人での自己対戦Hanabiにおいて、最先端の性能を達成するか？

主な発見

• SADは、2〜5人での自己対戦設定において、Hanabiチャレンジの最先端の性能を達成した。
• エージェントがチームメイトの意図した行動を推論できるようにすることで、探索と通信を効果的に分離した。
• 補助的な状態予測タスクは、ポリシー一般化と通信効率の向上に寄与した。
• トレーニング中の探索的行動と情報的な行動選択の根本的矛盾を解消した。
• 複雑なアーキテクチャの変更を必要とせず、従来手法よりも顕著な性能向上を示した。
• 集中型トレーニングフェーズにより、効果的な意図デコードが可能となり、チーム全体の協力が著しく向上した。