[論文レビュー] Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory

Yunlong Lu, Kai Yan|arXiv (Cornell University)|Jan 17, 2020

Reinforcement Learning in Robotics参考文献 87被引用数 12

ひとこと要約

本調査は、マルチエージェントシステムにおける深層強化学習（DRL）とゲーム理論の包括的統合を提示し、特に虚仮自己対戦（Fictitious Self-Play）および対応的後悔最小化（CFR）といったゲーム理論的解法概念とアルゴリズムが、深層学習と統合され、複雑なマルチエージェントゲームを解くためにどのように変容したかに焦点を当てる。主な貢献は、DRLとゲーム理論が共同で、ポーカー、ゴン、スターフィート・クラフトなどのゲームで人間を凌駕する性能を実現するための統一的フレームワークを示したことである。

ABSTRACT

Deep reinforcement learning (RL) has achieved outstanding results in recent years, which has led a dramatic increase in the number of methods and applications. Recent works are exploring learning beyond single-agent scenarios and considering multi-agent scenarios. However, they are faced with lots of challenges and are seeking for help from traditional game-theoretic algorithms, which, in turn, show bright application promise combined with modern algorithms and boosting computing power. In this survey, we first introduce basic concepts and algorithms in single agent RL and multi-agent systems; then, we summarize the related algorithms from three aspects. Solution concepts from game theory give inspiration to algorithms which try to evaluate the agents or find better solutions in multi-agent systems. Fictitious self-play becomes popular and has a great impact on the algorithm of multi-agent reinforcement learning. Counterfactual regret minimization is an important tool to solve games with incomplete information, and has shown great strength when combined with deep learning.

研究の動機と目的

• 深層強化学習（DRL）とゲーム理論の間のギャップを埋めること、それぞれの分野だけでは限界があること。
• ナッシュ均衡、マルコフ＝コーンリー・チェーン（MCC）、および限界合理的性といったゲーム理論的解法概念が、マルチエージェントRLアルゴリズムの設計と指針にどのように影響を与えるかを分析すること。
• 虚仮自己対戦（FSP）および対応的後悔最小化（CFR）といった主要なアルゴリズムの進化と深層学習との統合を検討すること。
• DRLをマルチエージェント環境に直接適用する際の制限、例えば非マルコフ的ダイナミクスや非定常性の問題に対処すること。
• 特に不完全情報と高次元性を特徴とするゲームにおけるマルチエージェントAI分野の最近の画期的進展を包括的かつ統一的に提示すること。

提案手法

• 単一エージェント強化学習とマルチエージェントシステムの基礎的原則を統合し、マルチエージェント学習の課題の基準を確立する。
• 特にナッシュ均衡、マルコフ＝コーンリー・チェーン（MCC）、および限界合理的性といったゲーム理論の解法概念を、静的均衡とは対照的な動的代替案として分析する。
• 虚仮自己対戦（FSP）を、エージェントが相手の平均戦略に対して最適応答する自己対戦メカニズムとして検討し、特定のゲームではナッシュ均衡に収束することを示す。
• 対応的後悔最小化（CFR）を、不完全情報ゲームに特化した後悔ベースのアルゴリズムとして詳細に説明し、反復処理中に対応的後悔を追跡・最小化することを特徴とする。
• 累積後悔と平均戦略の近似にニューラルネットワークを用いる深層CFRの変種を提案し、大規模な状態空間へのスケーラビリティを実現する。
• 非終了的ゲームや完全記憶のない環境を想定した、CFRにQ学習スタイルの更新を統合するハイブリッド手法を導入し、DRLとの互換性を高める。

実験結果

リサーチクエスチョン

• RQ1 ナッシュ均衡やマルコフ＝コーンリー・チェーンといったゲーム理論的解法概念は、マルチエージェント強化学習アルゴリズムの設計と評価をどのように改善できるか？
• RQ2 虚仮自己対戦（FSP）は、理論的ゲーム理論モデルから、現代のマルチエージェントRLの基盤的アルゴリズムへとどのように進化したか？
• RQ3 対応的後悔最小化（CFR）は、大規模で不完全情報のゲームをどのように解けるか、また非マルコフ的または連続的環境ではどのような制限を受けるか？
• RQ4 深層強化学習とゲーム理論的アルゴリズムを統合するにあたり、主な課題は何か、最近の手法はそれらをどのように克服したか？
• RQ5 深層CFRおよびその変種は、完全記憶の欠如や終端状態依存性の制限をどの程度克服できるか？

主な発見

• 虚仮自己対戦（FSP）は、現代のマルチエージェントRLの基盤となり、アルファゼロがゴン、チェス、将棋で人間を凌駕する性能を発揮する自己対戦学習の根幹をなしている。
• 対応的後悔最小化（CFR）に深層学習を統合することで、テキサスホールデムポーカーのような不完全情報ゲームで最先端の性能が達成され、人間を凌駕する結果が得られた。
• 後悔と平均戦略の近似にニューラルネットワークを用いる深層CFRの変種は、スケーラビリティを著しく向上させ、LSTMを2つ用いて後悔と戦略をモデル化する二重ニューラルCFRなどの手法がその例である。
• 重み付きCFRの変種、例えば線形および割引付きCFRは、最近の後悔と戦略更新に重みを置くことで収束性を向上させ、近似誤差を低減する。
• CFRにQ学習スタイルの更新を統合するハイブリッドアルゴリズムは、従来の手法が失敗した非終了的マルコフゲーム（例：NoSDE）においても収束を可能にした。
• これらの成功にもかかわらず、深層CFR手法は完全記憶のない環境や連続的・非終了的ダイナミクスを示す環境では依然として課題を抱えており、再帰的モデルや関数近似とのさらなる統合の必要性が示唆されている。