[論文レビュー] APAC-Net: Alternating the Population and Agent Control via Two Neural Networks to Solve High-Dimensional Stochastic Mean Field Games

A. T. Lin, Samy Wu Fung+3 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 19被引用数 26

ひとこと要約

APAC-Net は、変分的プリマル・デュアル構造を介して凸-凹なサドルポイント問題として定式化することにより、高次元確率的平均場ゲーム（MFG）において、集団とエージェントの制御を交互に最適化する画期的なニューラルネットワークフレームワークを導入する。価値関数と密度関数を別々の2つのニューラルネットワークでパラメータ化することで、この手法は GAN に類似た学習プロセスに再定式化され、従来の手法では取り扱えなかった100次元までの MFG を効果的に解けるようになった。

ABSTRACT

We present APAC-Net, an alternating population and agent control neural network for solving stochastic mean field games (MFGs). Our algorithm is geared toward high-dimensional instances of MFGs that are beyond reach with existing solution methods. We achieve this in two steps. First, we take advantage of the underlying variational primal-dual structure that MFGs exhibit and phrase it as a convex-concave saddle point problem. Second, we parameterize the value and density functions by two neural networks, respectively. By phrasing the problem in this manner, solving the MFG can be interpreted as a special case of training a generative adversarial network (GAN). We show the potential of our method on up to 100-dimensional MFG problems.

研究の動機と目的

• 従来の数値的手法では計算的に取り扱えない高次元確率的平均場ゲーム（MFG）を解く挑戦に応えること。
• MFG に内在する変分的プリマル・デュアル構造を活用し、問題を凸-凹なサドルポイント最適化問題に再定式化すること。
• 価値関数と集団密度関数の両方を別々の2つのニューラルネットワークでパラメータ化するスケーラブルなディープラーニングフレームワークを開発すること。
• 生成的対抗ネットワーク（GAN）との類似性を活用して、エンドツーエンドの学習を可能にし、高次元空間における安定した最適化を実現すること。
• 本手法の有効性を、最大100次元までの MFG 問題に対して示し、従来の解法能力の限界を押し広げること。

提案手法

• 本手法は、MFG の背後にある変分的プリマル・デュアル構造を活用して、確率的 MFG を凸-凹なサドルポイント問題として定式化する。
• 価値関数と集団密度関数を別々の2つのニューラルネットワークでパラメータ化することで、高次元空間におけるスケーラブルな表現が可能になる。
• 訓練プロセスは、エージェント制御（価値ネットワーク）と集団制御（密度ネットワーク）の最適化を交互に繰り返す。これは GAN の訓練プロセスに類似している。
• アルゴリズムは、MFG の解をミニマックス最適化問題として扱い、価値ネットワークが目的関数を最小化し、密度ネットワークが最大化するように設計される。
• 再定式化された問題の凸-凹性を活用することで、収束性が保証され、高次元でも安定した学習が可能になる。
• バックプロパゲーションを用いたディープラーニングによるエンドツーエンド実装により、両方のニューラルネットワークを同時に勾配ベースで最適化できる。

実験結果

リサーチクエスチョン

• RQ1 古典的数値手法では到達できない高次元確率的平均場ゲームを、ディープラーニングフレームワークが効果的に解くことができるか？
• RQ2 MFG が持つプリマル・デュアル変分的構造を活用して、安定的かつスケーラブルな最適化アルゴリズムを設計できるか？
• RQ3 MFG の解法プロセスはどの程度、生成的対抗ネットワーク（GAN）に類似た訓練手順として解釈できるか？
• RQ4 ニューラルネットワークベースの交互最適化スキームで解ける MFG 問題の最大次元数は何か？
• RQ5 集団制御とエージェント制御のネットワーク間での交互最適化は、高次元設定において収束性と解の品質をどのように向上させるか？

主な発見

• APAC-Net は、100次元にまで達する確率的平均場ゲームを効果的に解くことに成功し、従来の手法の限界を超えたスケーラビリティを示した。
• MFG を凸-凹なサドルポイント問題として再定式化することで、ニューラルネットワークによるパラメータ化を用いた安定的かつ効率的な最適化が可能になった。
• 価値関数と集団密度の最適化を交互に繰り返すことで、GAN の訓練ダイナミクスを模倣した有効な学習が達成された。
• 価値関数と密度関数に別々の2つのニューラルネットワークを用いることで、高次元状態空間におけるより表現力があり正確な表現が可能になった。
• 従来のソルバが次元の呪いにより失敗するような複雑な高次元確率的ダイナミクスに対しても、本フレームワークは有効であると示された。
• 本手法は、変分的原理とディープラーニングを統合することで、MFG の解法に新たなパラダイムを提供し、大規模確率的制御分野における今後の研究の道筋を開いた。