[論文レビュー] Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games

Jiequn Han, Ruimeng Hu|arXiv (Cornell University)|Dec 4, 2019

Sports Analytics and Performance参考文献 46被引用数 23

ひとこと要約

本稿では、深層学習を用いた後向き確率微分方程式（deep BSDE）と仮想的反復法（fictitious play）を組み合わせた深層仮想的反復法を提案する。この手法により、共通ノイズを伴う高次元かつ非均一・リスク感受性のあるN人対象の確率的微分ゲームにおいても、マーカフィアンナッシュ均衡を計算可能となる。各プレイヤーの意思決定問題を独立して解くことで、次元の呪いを克服し、50人対象の銀行間貸し借りゲームにおいても正確に均衡を同定することに成功した。

ABSTRACT

We propose a deep neural network-based algorithm to identify the Markovian Nash equilibrium of general large $N$-player stochastic differential games. Following the idea of fictitious play, we recast the $N$-player game into $N$ decoupled decision problems (one for each player) and solve them iteratively. The individual decision problem is characterized by a semilinear Hamilton-Jacobi-Bellman equation, to solve which we employ the recently developed deep BSDE method. The resulted algorithm can solve large $N$-player games for which conventional numerical methods would suffer from the curse of dimensionality. Multiple numerical examples involving identical or heterogeneous agents, with risk-neutral or risk-sensitive objectives, are tested to validate the accuracy of the proposed algorithm in large group games. Even for a fifty-player game with the presence of common noise, the proposed algorithm still finds the approximate Nash equilibrium accurately, which, to our best knowledge, is difficult to achieve by other numerical algorithms.

研究の動機と目的

• 従来の手法が次元の呪いにより失敗する大規模N人対象の確率的微分ゲームにおいて、マーカフィアンナッシュ均衡をスケーラブルに計算する数値的手法を開発すること。
• 対称性を仮定する平均場ゲーム理論の限界を克服し、共通ノイズや中程度のN値下でも成立する一般化された非均一性とノイズ構造を扱えるようにすること。
• 深層学習を活用し、仮想的反復法における個々の意思決定問題から生じる高次元かつ結合されたハミルトニアン・ジャコビ・ベルマン（HJB）方程式を解くこと。
• HJBフレームワークを用いて、深層学習ベースの手法の適用範囲を、オープンループ均衡からフィードバック（マーカフィアン）戦略へと拡張すること。
• 解析的解が存在する・しない問題の両方に対して、非線形なドリフト項やリスク感受性の高い目的関数を含む問題を検証すること。

提案手法

• 仮想的反復法を用いて、N人対象の確率的微分ゲームをN個の独立した意思決定問題に分解し、各プレイヤーの戦略を他のプレイヤーの戦略が固定されていると仮定して最適化する。
• 各個人の意思決定問題を、マーカフィアン情報下での最適フィードバック制御を特徴付ける半線形ハミルトニアン・ジャコビ・ベルマン（HJB）方程式としてモデル化する。
• 深層BSDE法を用いて各HJB方程式を数値的に解き、深層ニューラルネットワークを用いて価値関数およびその微分を近似する。
• 最新の相手プレイヤー戦略の推定値を用いて、フィードバックループ内で全プレイヤーの戦略を繰り返し更新し、各プレイヤーの最適反応を精緻化する。
• 対称的なゲームでは、すべてのプレイヤーに共通のニューラルネットワークを共有することで計算コストを削減し、1反復あたり1つのHJB方程式のみを解く。
• 10,000本のパスを用いたモンテカルロシミュレーションにより、学習済み戦略を検証し、終端状態および制御の経験的分布を既知または期待される分布と比較する。

実験結果

リサーチクエスチョン

• RQ1 深層仮想的反復法は、非均一なエージェントと共通ノイズを伴う大規模N人対象の確率的微分ゲームにおいて、マーカフィアンナッシュ均衡を正確に計算できるか？
• RQ2 閉形式解が存在しないゲーム、特に非線形ドリフト項やリスク感受性の高い目的関数を伴うゲームにおいて、アルゴリズムの性能はいかがなものか？
• RQ3 従来の数値スキームと比較して、この手法は次元の呪いをどの程度克服できるか？
• RQ4 解析的解が得られない状況下でも、N=50人の対称的ゲームにおいて、アルゴリズムは正確性と効率性を維持できるか？
• RQ5 共通ノイズが存在する場合、アルゴリズムの収束性と正確性にどのような影響を与えるか。また、平均場ゲーム近似を上回る性能を示せるか？

主な発見

• 共通ノイズを伴う50人対象の銀行間貸し借りゲームにおいて、解析的解が存在しない状況下でも、アルゴリズムはナッシュ均衡を正確に計算した。
• 線形ドリフトの場合、終端状態および制御の経験的分布は真のガウス分布に非常に近い。峰度（kurtosis）が3に近く、解の正しさを裏付けている。
• 非線形ドリフト（立方項）の場合、アルゴリズムは非ガウス的挙動を捉えている：終端状態の峰度は2.72 < 3、制御の峰度は2.36 < 3であり、ガウス分布よりも尾が重い（ heavier tails）ことが示され、理論的期待と整合的である。
• 全テスト例において、学習済戦略と真の均衡との間で最小限の乖離が生じ、収束性と安定性が維持されている。
• 特にプレイヤーが非均一または共通ノイズが存在する状況では、有限Nにおける平均場ゲーム近似を著しく上回る正確性を示した。
• 対称性を活用し、共通のニューラルネットワークを用いることで、計算コストをN分の1に削減し、大規模シミュレーションの実現を可能にした。