[論文レビュー] Learning in Mean Field Games: the Fictitious Play

Pierre Cardaliaguet, Saeed Hadikhanloo|arXiv (Cornell University)|Jul 22, 2015

Game Theory and Applications参考文献 25被引用数 29

ひとこと要約

本稿では、平均場ゲーム（MFGs）における架空のプレイ学習手順を導入し、エージェントが集団密度に関する信念を繰り返し更新し、最適応答戦略を計算する。ゲームがポテンシャル型である場合、この手法は粘性解および輸送方程式の重ね合わせ原理を用いてMFG均衡に収束することが保証される。

ABSTRACT

Mean Field Game systems describe equilibrium configurations in differential games with infinitely many infinitesimal interacting agents. We introduce a learning procedure (similar to the Fictitious Play) for these games and show its convergence when the Mean Field Game is potential.

研究の動機と目的

• 大規模な確率的双対微分ゲームにおけるエージェントが、システムの完全な知識なしに平均場均衡に到達する方法という現実的課題に取り組むこと。
• 有限プレイヤーゲームで一般的な古典的架空のプレイ学習メカニズムを、連続的かつ無限人口の平均場ゲーム設定に適応すること。
• MFGシステムがポテンシャル型であるという条件下で、学習手順の収束を確立することにより、一意な均衡が保証されること。
• 理論的MFG均衡と交通流や経済モデリングなどの応用分野における実践的学習ダイナミクスの間のギャップを埋めること。

提案手法

• エージェントが過去の反復回数における観測された密度の時間平均として、集団密度に関する信念を更新する学習手順を提案する。
• 各段階において、エージェントは現在の信念（過去の密度の平均）を用いてハミルトニアン・ジャコビ・ベルマン方程式を解き、最適価値関数を計算する。
• 実際の集団密度は、価値関数から導かれた最適制御によって駆動されるフォッカー＝プランク方程式に従って時間発展する。
• 信念は、すべての以前の段階における観測密度の経験的平均として更新され、再帰的学習ルールを形成する。
• 価値関数および密度系列の収束を分析するために、粘性解理論を用いる。
• アンブロシオの重ね合わせ原理を用いて、輸送方程式の解と最適軌道を結びつけ、正則性およびポテンシャル仮定のもとで一意性を保証する。

実験結果

リサーチクエスチョン

• RQ1 連続時間MFGシステムにおいて、架空のプレイ風の学習手順は平均場均衡に収束可能か？
• RQ2 信念の更新と最適応答の計算に基づく反復的学習プロセスが、ポテンシャル型MFGで収束する条件は何か？
• RQ3 前向き・後ろ向きPDEと無限人口を含むシステムにおいて、学習ダイナミクスの収束をどのように厳密に確立できるか？
• RQ4 MFGのポテンシャル構造が学習手順の収束を保証する役割を果たすのはどのような点か？
• RQ5 学習ダイナミクスを、重ね合わせ原理を介して最適制御および軌道選択とどの程度まで結びつけることができるか？

主な発見

• ゲームがポテンシャル型である場合、架空のプレイ学習手順は平均場ゲームシステムの解に収束する。
• 価値関数および勾配の一様有界性、および極限系における粘性解の存在によって収束が確立される。
• 変分法問題における一意な最小化子の仮定のもとで、極限密度は初期測度を最適軌道に沿って押し出し（pushforward）したものとして一意に特徴づけられる。
• 輸送方程式の解は、最適軌道に集中するデルタ関数として一意に表現され、極限密度の一意性が保証される。
• コンパクト性の議論および重ね合わせ原理を用いて、学習系列の収束が証明され、極限解は完全なMFGシステムを満たす。
• 半径凸性の価値関数および密度とその勾配の一様有界性という標準的仮定のもとで、結果は成り立つ。