[論文レビュー] Stochastic Games for Fuel Followers Problem: N vs MFG

Xin Guo, Renyuan Xu|arXiv (Cornell University)|Mar 8, 2018

Stochastic processes and financial applications参考文献 33被引用数 9

ひとこと要約

この論文は、特異制御を伴う古典的な燃料追従問題に対して、N人プレイヤーの確率的ゲームとその平均場ゲーム（MFG）対応を定式化し、解明する。両設定における明示的なナッシュ均衡（NE）を導出し、N人プレイヤーのNEは状態に依存する一方、MFGのNEは状態に依存しないしきい値型のバン・バン制御であることを示し、MFG解がN人プレイヤーゲームにおけるϵ-Nash均衡であることを証明した。ここで ϵ=O(1/√N) である。

ABSTRACT

In this paper we formulate and analyze an $N$-player stochastic game of the classical fuel follower problem and its Mean Field Game (MFG) counterpart. For the $N$-player game, we obtain the Nash Equilibrium (NE) explicitly by deriving and analyzing a system of Hamilton--Jacobi--Bellman (HJB) equations, and by establishing the existence of a unique strong solution to the associated Skorokhod problem on an unbounded polyhedron with an oblique reflection. For the MFG, we derive a bang-bang type NE under some mild technical conditions and by the viscosity solution approach. We also show that this solution is an $ε$-NE to the $N$-player game, with $ε=O(\frac{1}{\sqrt{N}})$. The $N$-player game and the MFG differ in that the NE for the former is state dependent while the NE for the latter is threshold-type bang-bang policy where the threshold is state independent. Our analysis shows that the NE for a stationary MFG may not be the NE for the corresponding MFG.

研究の動機と目的

• 特異制御を伴う燃料追従問題に対するN人プレイヤー確率的ゲームを定式化・分析すること。各プレイヤーは、制御コストとすべての物体の平均位置までの距離を最小化する。
• HJB方程式系と非有界多面体上での斜め反射を伴うスコロホド問題を用いて、N人プレイヤーゲームのナッシュ均衡（NE）を明示的に導出すること。
• N→∞ の平均場ゲーム（MFG）極限を検討し、各プレイヤーが集団の経験的平均と相互作用する設定を考察し、粘性解法を用いてバン・バン型NEを導出すること。
• N人プレイヤーゲームとMFGの間の構造的差異、特に均衡の性質（状態依存対状態非依存しきい値）を比較すること。
• MFGのNEがN人プレイヤーゲームにおけるϵ-Nash均衡であることを示し、ϵ=O(1/√N) として近似誤差を定量すること。

提案手法

• 特異制御を伴う確率的微分ゲームとしてN人プレイヤーのゲームを定式化し、各プレイヤーのコストが制御努力とすべてのN個の物体の平均位置までのL²距離に依存するように設定する。
• 価値関数のためのHJB方程式系を導出し、フィードバックナッシュ均衡を特徴付けるための検証定理を証明する。
• 非有界多面体上での斜め反射を伴うスコロホド問題に対して、強い解の存在と一意性を証明し、均衡制御方策の構築を可能にする。
• MFG極限において、結合された前向き・後ろ向きPDE系（HJB方程式とフォッカー・プランク方程式）を分析し、対称性と凸性を活用して、状態に依存しないしきい値を持つバン・バン型NEを導出する。
• 粘性解法を用いてMFG均衡を確立し、弱い技術的条件のもとでその最適性を検証する。
• 安定性と収束の議論を用いて、MFGのNEがN人プレイヤーゲームにおけるϵ-Nash均衡であることを証明し、ϵ=O(1/√N) を得る。

実験結果

リサーチクエスチョン

• RQ1 特異制御を伴う燃料追従問題において、有限プレイヤー確率的ゲームとその平均場ゲーム（MFG）極限との間で、ナッシュ均衡の構造はどのように異なるか？
• RQ2 高次元性と勾配制約が存在する中で、特異制御と対称的・凸的コスト関数を伴うN人プレイヤーゲームに対して、明示的なナッシュ均衡を導出可能か？
• RQ3 MFG解はN人プレイヤーゲームにおけるϵ-Nash均衡に収束するか？その収束速度はいかほどか？
• RQ4 なぜこの設定ではMFG定式化が単一プレイヤー問題に縮退するのか？これはN人プレイヤー均衡構造とどのように異なるか？
• RQ5 平均場情報の集約は、特に状態に依存するしきい値の観点から、均衡方策構造にどのような役割を果たすのか？

主な発見

• N人プレイヤーゲームのナッシュ均衡は、HJB方程式系と斜め反射を伴うスコロホド問題を解くことにより得られる、状態に依存するフィードバック制御方策として明示的に特徴付けられる。
• MFG極限において、均衡は粘性解法と結合されたHJB方程式およびフォッカー・プランク方程式の構造を用いて導出された、状態に依存しないしきい値を持つバン・バン型制御である。
• MFG均衡がN人プレイヤーゲームにおけるϵ-Nash均衡であることが示され、ϵ=O(1/√N) として、平均場近似の収束速度が定量的に得られた。
• MFG解は構造的に単一プレイヤー問題に退化する。これは、均衡のしきい値が現在の状態に依存しないのに対し、N人プレイヤーのNEは状態に依存するためである。
• N→∞ の極限において、MFGのしきい値は古典的な燃料追従しきい値 c_N → c に収束し、平均場極限における一貫性が確認された。
• N=2 の場合、対称性のおかげで複数の均衡が存在し、有限プレイヤー設定では一意でないことが示された。これに対してMFG均衡は一意的である。