[論文レビュー] Exploration noise for learning linear-quadratic mean field games

François Delarue, Athanasios Vasileiadis|arXiv (Cornell University)|Jul 2, 2021

Stochastic processes and financial applications参考文献 54被引用数 5

ひとこと要約

本稿は、線形・二次型平均場ゲーム（MFG）における一般的なノイズが、擬似反復学習アルゴリズムにおける収束の安定化および加速に向けた探索メカニズムとして機能することを示している。パラメータ $\pi$ で制御される幾何的重み付けスキームを用いた、傾きを加えた擬似反復学習の変種を導入することにより、単調でない、ポテンシャル関数を持たない設定においても、グローバル均衡に収束することが保証される。数値結果では、最適なノイズ条件下でわずか5反復で正しい均衡が急速に選択されている。

ABSTRACT

The goal of this paper is to demonstrate that common noise may serve as an exploration noise for learning the solution of a mean field game. This concept is here exemplified through a toy linear-quadratic model, for which a suitable form of common noise has already been proven to restore existence and uniqueness. We here go one step further and prove that the same form of common noise may force the convergence of the learning algorithm called `fictitious play', and this without any further potential or monotone structure. Several numerical examples are provided in order to support our theoretical analysis.

研究の動機と目的

• 平均場ゲーム学習における一般的なノイズが、標準的な学習が失敗する非単調または非ポテンシャル設定においても、効果的な探索メカニズムとして機能するかを調査すること。
• 一般ノイズを活用して収束特性を向上させる「傾き付き擬似反復学習」と呼ばれる修正された学習アルゴリズムの開発および分析を行うこと。
• 1次元線形・二次型MFGにおける非凸ポテンシャルに対して、数値的に傾き付き擬似反復学習が局所的均衡ではなくグローバル最小化子を選択できることを示すこと。
• 理論的MFG解析と実践的強化学習を橋渡しすることにより、一般ノイズが学習の安定性と探索性を向上させることを示すこと。

提案手法

• 時間に依存するドリフト $\varpi \mathbf{h}^n$ によって駆動されるギルサノフ型測度変換を組み込んだ、標準的擬似反復学習を変更した「傾き付き擬似反復学習」アルゴリズムを導入する。
• 幾何的重み付けスキームを学習更新に適用し、$\varpi \in (1, \sqrt{2}]$ として、探索性の向上とグローバル均衡への収束を促進する。
• ギルサノフ変換を用いて測度を傾けることで、まれだが情報価値の高い軌道への感度を学習プロセスに高める。
• $M = 2 \times 10^4$ パスを用いたモンテカルロシミュレーションと、6次までのエルミート多項式回帰を用いて、傾いた測度下での条件付き平均を推定する。
• 線形・二次型MFGにおいて一意性を回復させることが証明された共通ノイズ構造を採用し、解空間における滑らかさの効果を活用する。
• 共通ノイズを内生的探索ノイズとして用いることで、外部摂動を回避し、統計的学習にアルゴリズムを適応させる。

(a) Evolution of ${\mathscr{J}}$ with $\kappa$ .

実験結果

リサーチクエスチョン

• RQ1 線形・二次型MFGにおける共通ノイズは、学習アルゴリズムの有効な探索メカニズムとして機能できるか？
• RQ2 標準的擬似反復学習が失敗する非単調または非ポテンシャルMFGにおいて、傾き付き擬似反復学習アルゴリズムはグローバル均衡に収束するか？
• RQ3 幾何的重み付けパラメータ $\varpi$ の選択が、正しい均衡の選択における収束速度と精度にどのように影響するか？
• RQ4 ギルサノフに基づく測度の傾き付けは、まれだが情報価値の高い状態のサンプリングを向上させることで、学習プロセスを改善できるか？
• RQ5 ノイズ強度 $\varepsilon$ は、学習アルゴリズムの分散と安定性にどのような影響を及ぼすか？

主な発見

• パラメータ $\varpi = 4$ の傾き付き擬似反復学習は、理論的範囲 $ (1, \sqrt{2}] $ の外にありながらも、わずか5反復でグローバル均衡に収束した。
• $\varpi = 1.5$ の場合、10反復で収束が確認され、速度と安定性の明確なトレードオフが示された。
• $\varpi = 1$ の場合、15反復以上を要し、残存分散が観察されたことから、グローバル最小化子の選択がやや不確実であった。
• 初期値が局所的均衡に設定されていても、アルゴリズムは $x \approx -0.5$ に位置するグローバル最小化子を正しく選択した。
• 数値結果から、$\varepsilon$ を 0.1 に低下させると性能が悪化し、ギルサノフ変換における分散が増加したことが示され、ノイズ強度と安定性のトレードオフが明らかになった。
• 共通ノイズを探索ノイズとして用いることで、アルゴリズムは局所的最小値から脱出し、グローバル解に収束できた。これにより、学習のロバスト性向上における共通ノイズの役割が裏付けられた。

(b) Evolution of $\frac{\mathrm{d}}{\mathrm{d}\beta}{\mathscr{J}}$ with $\kappa$ .