[論文レビュー] Deep Fictitious Play for Stochastic Differential Games

Ruimeng Hu|arXiv (Cornell University)|Mar 22, 2019

Model Reduction and Neural Networks参考文献 53被引用数 9

ひとこと要約

本稿では、非対称なN人プレイヤー確率的微分ゲームにおけるオープンループナッシュ均衡をスケーラブルかつ並列に計算するための、深層仮想的最適化（deep fictitious play）という、深層学習アルゴリズムを提案する。各プレイヤーの戦略を、他のプレイヤーの過去の行動を固定したもとで、個別の深層ニューラルネットワークを用いて反復的に最適化することで、GPU加速されたモデルフリーな計算が可能となり、適切な条件下でナッシュ均衡に収束する。

ABSTRACT

In this paper, we apply the idea of fictitious play to design deep neural networks (DNNs), and develop deep learning theory and algorithms for computing the Nash equilibrium of asymmetric $N$-player non-zero-sum stochastic differential games, for which we refer as \emph{deep fictitious play}, a multi-stage learning process. Specifically at each stage, we propose the strategy of letting individual player optimize her own payoff subject to the other players' previous actions, equivalent to solve $N$ decoupled stochastic control optimization problems, which are approximated by DNNs. Therefore, the fictitious play strategy leads to a structure consisting of $N$ DNNs, which only communicate at the end of each stage. The resulted deep learning algorithm based on fictitious play is scalable, parallel and model-free, {\it i.e.}, using GPU parallelization, it can be applied to any $N$-player stochastic differential game with different symmetries and heterogeneities ({\it e.g.}, existence of major players). We illustrate the performance of the deep learning algorithm by comparing to the closed-form solution of the linear quadratic game. Moreover, we prove the convergence of fictitious play under appropriate assumptions, and verify that the convergent limit forms an open-loop Nash equilibrium. We also discuss the extensions to other strategies designed upon fictitious play and closed-loop Nash equilibrium in the end.

研究の動機と目的

• N人プレイヤー確率的微分ゲームにおけるナッシュ均衡を計算するためのスケーラブルで、並列的かつモデルフリーな深層学習アルゴリズムの開発。
• 仮想的最適化の概念を深層ニューラルネットワークを用いて確率的微分ゲームへ拡張し、ゲームの対称性や構造に関する事前知識が不要なスケーラブルな計算を可能にする。
• ハミルトニアンの十分な正則性および凸性仮定の下で、提案された深層仮想的最適化アルゴリズムがオープンループナッシュ均衡に収束することの証明。
• 線形二次ゲームにおける閉形式解との数値的比較を通じて、本手法の有効性を実証する。
• 今後の研究における閉ループおよびフィードバックナッシュ均衡への拡張の基盤を構築する。

提案手法

• アルゴリズムの各段階において、各プレイヤーの戦略は、他の全プレイヤーの過去の行動を条件として、個別の深層ニューラルネットワークを用いて独立に最適化される。
• 本手法は、N個の独立した確率的制御問題を並列に解くもので、それぞれが別個の深層ニューラルネットワークで近似され、通信は段階間でのみ行われる。
• アルゴリズムは深層学習を用いて最適制御方策を直接近似し、価値関数の微分や偏微分方程式（PDE）ソルバーに依存しない。
• アプローチはモデルフリーかつスケーラブルであり、ゲームの非対称性やメジャープレイヤーの存在に関係なく、プレイヤー間でGPU並列処理が可能である。
• ハミルトニアンの十分な正則性および凸性の仮定の下で理論的収束性が確立され、極限においてナッシュ均衡が得られる。
• フレームワークは、各プレイヤーが相手の過去の戦略に基づいて方策を更新する多段階反復的プロセスとして実装され、反復間でフィードバックループが形成される。

実験結果

リサーチクエスチョン

• RQ1 仮想的最適化を深層ニューラルネットワークを用いて確率的微分ゲームに適応させることで、ナッシュ均衡のスケーラブルかつ並列な計算が可能になるか？
• RQ2 深層仮想的最適化アルゴリズムがどのような条件下でオープンループナッシュ均衡に収束するか？
• RQ3 線形二次ゲームのようなベンチマークケースにおいて、深層仮想的最適化アルゴリズムの性能は、既知の解析的解と比べてどうなるか？
• RQ4 多段階学習プロセスにおけるプレイヤーごとの別個DNNの使用が、構造的および計算的利点をもたらすか？
• RQ5 本手法を、確率的微分ゲームにおける閉ループまたはフィードバックナッシュ均衡の計算に拡張可能か？

主な発見

• ハミルトニアンおよび係数の適切な正則性と凸性仮定の下で、深層仮想的最適化アルゴリズムはオープンループナッシュ均衡に収束する。
• 各プレイヤーの戦略最適化を段階間で分離することで、本手法は高いスケーラビリティと並列性を達成し、効率的なGPUベース実装が可能となる。
• 線形二次ゲームのベンチマークにおいて、アルゴリズムの数値的結果は既知の閉形式解とよく一致しており、その正確性が検証された。
• 本手法はモデルフリーであり、任意の非対称性を有する一般のN人プレイヤー確率的微分ゲーム、メジャープレイヤーを含む場合にも適用可能である。
• PDEベース手法における次元の呪いを回避するため、価値関数の微分を計算する必要なく、深層学習により制御方策を直接学習する。
• 本フレームワークは、今後の研究における閉ループおよびフィードバックナッシュ均衡への拡張の基盤を提供するが、フィードバック戦略の直接実装にはネットワークの結合が必要であり、非自明である。