[論文レビュー] Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning

Kai Cui, Heinz Koeppl|arXiv (Cornell University)|Feb 2, 2021

Advanced Thermodynamics and Statistical Mechanics被引用数 12

ひとこと要約

本稿では、非収縮的作用素によって通常の固定点反復が失敗する離散時間有限時系列平均場ゲーム（MFG）を解くために、エントロピー正則化付きの深層強化学習手法を提案する。ボルツマン方策と温度制御正則化を組み合わせることで、近似ナッシュ均衡への保証付き収束を実現し、道具立て可能な問題および高次元問題の両方で、代替手法（例：虚仮的反復）に比べて特徴的な劣化（exploitability）が著しく低減される。

ABSTRACT

The recent mean field game (MFG) formalism facilitates otherwise intractable computation of approximate Nash equilibria in many-agent settings. In this paper, we consider discrete-time finite MFGs subject to finite-horizon objectives. We show that all discrete-time finite MFGs with non-constant fixed point operators fail to be contractive as typically assumed in existing MFG literature, barring convergence via fixed point iteration. Instead, we incorporate entropy-regularization and Boltzmann policies into the fixed point iteration. As a result, we obtain provable convergence to approximate fixed points where existing methods fail, and reach the original goal of approximate Nash equilibria. All proposed methods are evaluated with respect to their exploitability, on both instructive examples with tractable exact solutions and high-dimensional problems where exact methods become intractable. In high-dimensional scenarios, we apply established deep reinforcement learning methods and empirically combine fictitious play with our approximations.

研究の動機と目的

• 非収縮的固定点作用素を持つ有限時系列離散時間MFGにおける固定点反復の失敗を解消すること。
• 標準的な収縮性仮定が成り立たない状況でも、近似平均場均衡を保証付きで近似可能な手法を開発すること。
• 深層強化学習を用いて、高次元MFGにおける近似ナッシュ均衡の実用的計算を可能にすること。
• 反復的方策最適化により特徴的劣化を低減することで、虚仮的反復などの既存手法を上回ること。
• エントロピー正則化、ボルツマン方策、一般MFG設定における収束の間の関係を確立すること。

提案手法

• ソフト値関数の定式化を用いて、エントロピー正則化をMFGの固定点反復に組み込み、作用素が非収縮的であっても収束を保証する。
• ソフトQ値関数から導かれるボルツマン方策を用いて確率的方策をパラメータライズし、微分可能で安定した最適化を可能にする。
• 双対変数を用いたラグランジュ緩和枠組みを採用し、周辺確率および方策制約を強制することで、取り扱いやすい最適化問題に変換する。
• エントロピー正則化下でのベルマン方程式の一般化として、再帰的ソフトQ値更新を導出。これにより反復的方策改善が可能となる。
• 粒子ベースのシミュレーションと深層強化学習を組み合わせ、高次元状態空間および行動空間へのスケーリングを実現する。
• 提案手法のエントロピー正則化近似と虚仮的反復を組み合わせ、特徴的劣化の反復的低減と均衡品質の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は、非収縮的作用素を持つ有限時系列離散時間MFGにおける固定点反復を安定化させ得るか？
• RQ2 温度制御付きボルツマン方策の使用は、一般MFG設定において近似固定点への保証付き収束を可能にするか？
• RQ3 高次元MFGにおいて、本手法の特徴的劣化は虚仮的反復や他の最先端手法と比較してどのように異なるか？
• RQ4 温度パラメータを調整することで、計算上の実行可能性を維持したまま、特徴的劣化を任意に小さくできるか？
• RQ5 エントロピー正則化は、一意でないまたは非収縮的MFG設定における収束性および平均場均衡の品質にどのような影響を与えるか？

主な発見

• 提案手法は、固定点作用素が非収縮的であっても、近似固定点への保証付き収束を達成する。これは、通常の固定点反復が失敗する状況である。
• 十分に高い温度におけるエントロピー正則化により収束が保証され、温度を低くすることで解を真の均衡に限りなく近づけることができる。
• 低次元および高次元MFGの両方において、虚仮的反復や他のベースライン手法に比べ、特徴的劣化が顕著に低減される。
• 高次元問題では、粒子ベースのシミュレーションと深層強化学習の統合により、平均場均衡の効果的近似が可能になる。
• ボルツマン方策パラメータ化を伴うソフトQ値再帰的更新は、安定で微分可能な方策最適化を可能にし、反復的特徴的劣化低下を実現する。
• 理論的解析により、本手法による平均場均衡が、対応する有限エージェントゲームにおける近似ナッシュ均衡を構成することが確認された。