[論文レビュー] Learning in Discounted-cost and Average-cost Mean-field Games

Berkay Anahtarcı, Can Deha Karıksız+1 more|arXiv (Cornell University)|Dec 31, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 7

ひとこと要約

本稿では、割引コストおよび平均コスト基準の下で、モデルフリーな学習アルゴリズムを提案し、適合Q反復法を用いて平均場均衡（MFE）作用素を近似する。MFE作用素が収縮写像であることを証明することで、確率的誤差境界を伴う収束性を確立し、有限エージェント設定における学習済み方策が近似ナッシュ均衡を形成することを示している。

ABSTRACT

We consider learning approximate Nash equilibria for discrete-time mean-field games with nonlinear stochastic state dynamics subject to both average and discounted costs. To this end, we introduce a mean-field equilibrium (MFE) operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in the infinite population limit). We first prove that this operator is a contraction, and propose a learning algorithm to compute an approximate mean-field equilibrium by approximating the MFE operator with a random one. Moreover, using the contraction property of the MFE operator, we establish the error analysis of the proposed learning algorithm. We then show that the learned mean-field equilibrium constitutes an approximate Nash equilibrium for finite-agent games.

研究の動機と目的

• 非線形な状態動的を持つ大規模集団の確率的ダイナミックゲームにおいて、近似ナッシュ均衡を計算する学習アルゴリズムを開発すること。
• 従来の定常平均場均衡に関する研究を拡張し、割引コストおよび平均コスト基準の下で収束保証を伴うモデルフリーな学習手法を導入すること。
• 理論的平均場均衡の存在と実用的計算の間のギャップを埋めるために、誤差解析を伴う学習アルゴリズムを提案すること。
• 学習済み平均場均衡方策が有限エージェントゲームにおいて近似ナッシュ均衡として機能することを示すこと。
• MFE作用素の収縮性を用いて、提案された学習アルゴリズムの収束速度と誤差境界を確立すること。

提案手法

• 固定点が定常平均場均衡に対応する平均場均衡（MFE）作用素を導入する。
• やや弱い正則性条件の下でMFE作用素が収縮写像であることを証明し、収束保証を可能にする。
• サンプルデータを用いてMFE作用素を近似するためのモデルフリーな学習アルゴリズム（適合Q反復に基づく）を提案する。
• 未知のシステム動的を扱うためにMFE作用素の確率的近似を用い、実世界の設定への適用を可能にする。
• 収縮性に基づく誤差解析を用いて、学習済み方策と真のMFE方策との乖離をバインドする。
• 学習済み方策を用いて有限エージェントゲームにおける近似ナッシュ均衡を構築し、NCE原理を活用する。

実験結果

リサーチクエスチョン

• RQ1 割引コストおよび平均コスト基準の下で、離散時間確率的平均場ゲームにおいて、近似平均場均衡を計算するモデルフリーな学習アルゴリズムを開発可能か？
• RQ2 提案された学習アルゴリズムは、定量的な確率的収束速度を伴って真の平均場均衡に収束するか？
• RQ3 MFE作用素の収縮性をどのように活用して、学習アルゴリズムの誤差境界を確立できるか？
• RQ4 学習済み平均場均衡方策が有限エージェントゲームにおいてどの程度近似ナッシュ均衡として機能するか？
• RQ5 適合Q反復法が、この文脈で安定かつ収束する学習プロセスをもたらすために必要な十分条件は何か？

主な発見

• やや弱い正則性条件の下で、平均場均衡（MFE）作用素が収縮写像であることが証明され、均衡の存在と一意性が保証される。
• 適合Q反復に基づく提案された学習アルゴリズムは、収縮性に基づく確率的収束速度を伴って真のMFE方策に収束する。
• 収縮係数と関数クラスのカバー数を用いて、学習済み方策と真のMFE方策との誤差をバインドする。
• 学習済み方策は、エージェント数が増加するにつれて近似品質が向上する有限エージェントゲームにおける近似ナッシュ均衡を構成する。
• アルゴリズムは割引コストおよび平均コスト基準の両方に対応可能であり、従来の特定のコスト構造に限られた研究を拡張する。
• 学習プロセスにおける近似誤差を制御するために、リプシッツ連続関数の無限大ノルムに関する理論的バインドが用いられる。