[論文レビュー] Scalable Deep Reinforcement Learning Algorithms for Mean Field Games

Mathieu Laurière, Sarah Perrin+9 more|arXiv (Cornell University)|Mar 22, 2022

Game Theory and Applications被引用数 13

ひとこと要約

本稿では、方策および価値関数の近似にニューラルネットワークを用いることで、有限時限の平均場ゲーム（MFG）を解くためのスケーラブルな深層強化学習アルゴリズム2つ——Deep Average-network Fictitious Play（D-AFP）とDeep Munchausen Online Mirror Descent（D-MOMD）——を提案する。D-AFPは、過去の方策を保存せずに、知識蒸留を用いて混合方策を学習する。一方、D-MOMDは正則化を用いてQ関数の和を暗黙的に扱う。両手法とも、5つのベンチマークMFG環境において、収束速度および利用可能性の観点でSotAベースラインを上回る性能を発揮する。

ABSTRACT

Mean Field Games (MFGs) have been introduced to efficiently approximate games with very large populations of strategic agents. Recently, the question of learning equilibria in MFGs has gained momentum, particularly using model-free reinforcement learning (RL) methods. One limiting factor to further scale up using RL is that existing algorithms to solve MFGs require the mixing of approximated quantities such as strategies or $q$-values. This is far from being trivial in the case of non-linear function approximation that enjoy good generalization properties, e.g. neural networks. We propose two methods to address this shortcoming. The first one learns a mixed strategy from distillation of historical data into a neural network and is applied to the Fictitious Play algorithm. The second one is an online mixing method based on regularization that does not require memorizing historical data or previous estimates. It is used to extend Online Mirror Descent. We demonstrate numerically that these methods efficiently enable the use of Deep RL algorithms to solve various MFGs. In addition, we show that these methods outperform SotA baselines from the literature.

研究の動機と目的

• 非線形関数近似（例：ニューラルネットワーク）を用いる平均場ゲーム（MFG）アルゴリズムにおいて、戦略やQ値の平均化を効率的に行う課題に対処すること。
• 表形式やメモリ集約的な手法に代わって、微分可能でニューラルネットワークベースの近似を用いることで、MFGにおけるスケーラブルな深層強化学習を可能にすること。
• 高次元の状態空間および行動空間における深層学習の一般化能力を活用しながらも、収束保証を維持するアルゴリズムの開発。
• 有限時限MFGにおける収束速度および均衡品質の観点で、既存のSotAベースラインを上回ること。

提案手法

• D-AFPは、Neural Fictitious Self-Play（NFSP）を用いて、過去の最良応答を1つのニューラルネットワーク方策に知識蒸留することで、Fictitious Playを拡張し、メモリ効率の良い方策平均化を実現する。
• この手法は、過去のすべての方策を保存せずに、模倣学習を用いて過去方策の平均を近似するニューラルネットワークを学習する。
• D-MOMDは、Munchausen再パラメータ化を用いてOnline Mirror Descentを再定式化し、正則化された目的関数によりQ関数の和を暗黙的に扱う。
• D-MOMDにおける正則化は、過去のQ関数を明示的に保存または合算せずに、Qネットワークのエンドツーエンド学習を可能にし、スケーラビリティを確保する。
• 両手法とも、関数近似に深層ニューラルネットワークを用い、標準的な深層RL最適化（例：方策勾配法やQ学習）により学習される。
• アルゴリズムは、連続状態空間と非対称報酬を持つ多集団MFGで評価され、利用可能性と分布の変化の進化を指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 Fictitious Playにおいて、過去のすべての歴史的方策を保存せずに、ニューラルネットワークを用いて過去方策の平均を効率的に近似することは可能か？
• RQ2 明示的な蓄積に代わって、微分可能な正則化スキームを用いて、Online Mirror DescentにおけるQ関数の和を暗黙的に合算することは可能か？
• RQ3 モデルベースまたは表形式のベースラインと比較して、深層RLベースのMFGアルゴリズムは、収束速度および均衡品質の観点でどのように異なるか？
• RQ4 D-MOMDのような正則化に基づく手法は、明示的な正則化によるバイアスを回避しつつ、ナッシュ均衡への収束を維持できるか？
• RQ5 提案手法は、複数の相互作用する集団を含む複雑で高次元のMFGにスケーリング可能か？

主な発見

• D-MOMDは、テストされた5つのベンチマークMFG環境すべてで、D-AFPおよびすべてのSotAベースラインを上回る収束速度を示した。
• D-AFPは、歴史的方策を保存せずに混合方策を学習でき、複雑なMFGへのスケーラビリティを実現した。
• D-MOMDは、D-AFPおよびベースラインよりも低い利用可能性を達成し、より高品質な均衡方策を示した。
• D-MOMDにおけるMunchausen再パラメータ化は、Q関数の有効な暗黙的合算を可能にし、明示的な蓄積を回避した。
• 多集団の追跡ゲームでは、D-MOMDが利用可能性および分布収束速度の両面でD-AFPを上回った。
• 提案手法は、連続状態空間および非対称報酬構造を含む多様なMFG設定において、強固な性能を示した。