[論文レビュー] Alternating the Population and Control Neural Networks to Solve High-Dimensional Stochastic Mean-Field Games

A. T. Lin, Samy Wu Fung+3 more|arXiv (Cornell University)|Feb 24, 2020

Stochastic processes and financial applications参考文献 62被引用数 70

ひとこと要約

APAC-Net は、凸凹なサドルポイント最適化として問題を定式化し、ニューラルネットワークで価値関数と密度関数をパラメータ化することにより、高次元確率的平均場ゲーム（MFGs）を解くための新しい深層学習フレームワークである。生成的対抗ネットワーク（GANs）にインspiredされ、集団ネットワーク（識別器に似たもの）と制御ネットワーク（生成器に似たもの）を交互に訓練することで、次元数が100に達するまでスケーラブルなMFGの解法が可能となり、従来のグリッドベースの手法では次元の呪いにより解けなかった問題を克服する。

ABSTRACT

We present APAC-Net, an alternating population and agent control neural network for solving stochastic mean field games (MFGs). Our algorithm is geared toward high-dimensional instances of MFGs that are beyond reach with existing solution methods. We achieve this in two steps. First, we take advantage of the underlying variational primal-dual structure that MFGs exhibit and phrase it as a convex-concave saddle point problem. Second, we parameterize the value and density functions by two neural networks, respectively. By phrasing the problem in this manner, solving the MFG can be interpreted as a special case of training a generative adversarial network (GAN). We show the potential of our method on up to 100-dimensional MFG problems.

研究の動機と目的

• 従来のグリッドベースのソルバーにおける次元の呪いにより生じる高次元確率的平均場ゲーム（MFGs）の計算的非可解性に対処すること。
• 従来の数値的手法が失敗する高次元空間（最大100次元）における確率的MFGsを解くスケーラブルな、深層学習ベースの手法を開発すること。
• ポテンシャルMFGの変分プライマル・デュアル構造を活用し、問題を凸凹なサドルポイント最適化問題に再定式化すること。
• MFGsと生成的対抗ネットワーク（GANs）の間の正式な関係を確立し、GAN風の訓練ダイナミクスの利用を可能にすること。
• 空間離散化を回避する微分可能でグリッドフリーなフレームワークを提供し、価値関数とエージェント密度の両方をニューラルネットワークでパラメータ化すること。

提案手法

• ベンアモ・ブレニエフレームワークから導出された変分プライマル・デュアル定式化を用いて、確率的MFG系を凸凹なサドルポイント問題に再定式化する。
• 制御ネットワーク（生成器）と集団ネットワーク（識別器）という2つの深層ニューラルネットワークを用いて、価値関数 ϕ とエージェント密度 ρ をパラメータ化する。
• Wasserstein GANsに類似したミニマックス最適化問題としてMFGの解法を定式化し、識別器がエージェント方策と集団分布の整合性を評価する。
• 交互最適化を用いる：制御ネットワークをHJB残差を最小化するように訓練し、集団ネットワークをFokker-Planckダイナミクスとの整合性を最大化するように訓練する。
• WGAN-GPと同様に、勾配ペナルティを用いて集団ネットワーク（識別器）に1-Lipschitz制約を課し、訓練の安定化とモード崩壊の防止を図る。
• 確率的勾配降下法と適応的最適化手法を用いて、サドルポイント定式化から導出された損失関数を通じて、HJB残差の最小化とFokker-Planck方程式の強制を統合的に実行する。

実験結果

リサーチクエスチョン

• RQ1 GANに基づく深層学習フレームワークは、従来のグリッドベースの手法では到達できない高次元確率的平均場ゲームを効果的に解くことができるか？
• RQ2 MFGの変分プライマル・デュアル定式化は、ニューラルネットワークでパラメータ化された場合に、安定的かつスケーラブルな訓練手順を可能にするか？
• RQ3 APAC-Netフレームワークは、異なる次元（例：2D、50D、100D）および異なる確率的強度（ν > 0）において、どれほど一般化性能を示すか？
• RQ4 複雑な相互作用（例：混雑状態や対称的障害物）を高次元空間で扱えるか？
• RQ5 GAN風の訓練ダイナミクスは、MFGにおける密度推定と方策推定の正確性を保証し、モード崩壊をどれほど効果的に防止できるか？

主な発見

• APAC-Net は次元数が100に達するまで確率的MFGsを効果的に解き、グリッドベースの手法では次元の呪いにより失敗する領域でもスケーラビリティを示した。
• HJB残差損失が低く抑えられており、2Dでは100未満、50Dでは500未満、100Dでは800未満を記録し、結合されたHJB-FP系の高精度な解法を示している。
• ボトルneckがある混雑問題において、ネットワークは障害物の周囲でエージェント密度を分割する学習を示し、2D、50D、100Dの全次元で一貫性のある結果を得ており、一般化性能が裏付けられた。
• 確率的強度を増加させた（ν = 0.4）場合、ダイナミクスはノイズに支配的になるが、ネットワークは依然として安定した訓練と意味のある方策学習を維持しており、ロバストネスを示した。
• 二次ハミルトニアンと対数的相互作用項（式 A.11）に対する解析解が、APAC-Netによって正確に再現された。これは、既知のベンチマークで手法の正しさが確認されたことを示している。
• 集団ネットワーク（識別器）に勾配ペナルティを適用することで、モード崩壊が効果的に防止され、次元にかかわらず一貫した密度分割と低残差損失が得られた。