[論文レビュー] Mean-Field Learning: a Survey

Hamidou Tembiné, Raúl Tempone+1 more|arXiv (Cornell University)|Oct 17, 2012

Advanced Bandit Algorithms Research参考文献 33被引用数 6

ひとこと要約

本稿は、個々の行動と平均場状態に依存する集約報酬を活用して、連続的行動空間を有する大規模集団ゲームにおけるスケーラブルなフレームワークとして平均場学習を導入する。モデルベースおよびモデルフリーベースの学習方式——部分的分散型、完全分散型、フィードバックなし型——を提案し、 Ishikawa型および Steffensen型の高速化手法を用いて収束を加速させ、10回未満の反復で 10⁻¹⁴未満の誤差を達成する超線形収束を実現する。

ABSTRACT

In this paper we study iterative procedures for stationary equilibria in games with large number of players. Most of learning algorithms for games with continuous action spaces are limited to strict contraction best reply maps in which the Banach-Picard iteration converges with geometrical convergence rate. When the best reply map is not a contraction, Ishikawa-based learning is proposed. The algorithm is shown to behave well for Lipschitz continuous and pseudo-contractive maps. However, the convergence rate is still unsatisfactory. Several acceleration techniques are presented. We explain how cognitive users can improve the convergence rate based only on few number of measurements. The methodology provides nice properties in mean field games where the payoff function depends only on own-action and the mean of the mean-field (first moment mean-field games). A learning framework that exploits the structure of such games, called, mean-field learning, is proposed. The proposed mean-field learning framework is suitable not only for games but also for non-convex global optimization problems. Then, we introduce mean-field learning without feedback and examine the convergence to equilibria in beauty contest games, which have interesting applications in financial markets. Finally, we provide a fully distributed mean-field learning and its speedup versions for satisfactory solution in wireless networks. We illustrate the convergence rate improvement with numerical examples.

研究の動機と目的

• 連続的行動空間および複雑な情報構造を有する大規模ゲームにおけるスケーラブルな学習アルゴリズムの不足を補う。
• 集約ゲームにおける平均場構造を活用することで、均衡計算における計算的・情報的複雑性を低減する。
• 報酬関数の知識やリアルタイムフィードバックを最小限に抑えた完全分散型およびフィードバックなし型の学習方式を開発する。
• 逆Ishikawa法や Steffensen反復といった加速技術を用いて収束速度を向上させる。
• 平均場学習を非凸最適化問題および無線ネットワークや金融市場への応用に拡張する。

提案手法

• 各プレイヤーが他のプレイヤーの行動の平均に応じて更新する平均場学習フレームワークを提案し、高次元の最適応答系を単一の式に簡略化する。
• 部分的分散型学習を実装し、各ステップでプレイヤーが平均場を観測し、最適応答またはBoltzmann-Gibbs戦略に基づいて反応する。
• 僅かな報酬測定値のみを用いる完全分散型平均場学習を導入し、微分自由かつモデルフリーな戦略学習（CODIPASフレームワーク）を実現する。
• λ > 1 の逆Ishikawa反復および Steffensen型手法などの加速技術を適用し、超線形収束を達成する。
• フィードバックなし型平均場学習を設計し、初期平均を推定し、階層的推論と仮説を用いてオフラインで更新する。
• 数値実験を通じて、さまざまな学習方式および加速手法下での収束速度と誤差境界を検証する。

実験結果

リサーチクエスチョン

• RQ1 平均場学習は、連続的行動および不完全情報を持つ大規模ゲームにおいて、複雑性を顕著に低減できるか？
• RQ2 反復フィードバックと高速化技術を用いて、非収縮的最適応答写像における収束をどのように加速できるか？
• RQ3 ノイズのある報酬測定値しか入手できない状況下で、完全分散型平均場学習の性能はいかがなものか？
• RQ4 フィードバックなし型平均場学習は実現可能であり、均衡の一貫性と収束にどのような影響を与えるか？
• RQ5 平均場の高次モーメントや確率分布全体に依存する平均場学習は、どのように拡張できるか？

主な発見

• λ = 5/3 の逆Ishikawa高速化では、26反復で誤差 1.3941 × 10⁻⁸ を達成し、超線形収束を示した。
• Steffensen型加速手法により、わずか6反復で誤差が 7 × 10⁻¹⁵ まで低下し、数値的ギャップは 7.105 × 10⁻¹⁵ であった。
• Banach-Picard 平均場学習は、50反復後に 17.999999962360114 の妥当な解に収束し、誤差推定値は 1.2547 × 10⁻⁸ であった。
• 加速された平均場学習の収束時間は O(log(log(1/η))) のオーダーであり、高精度要件に対して急速な収束を示す。
• ノイズが混在する非線形観測がある場合でも、観測関数が可逆または二値である限り、完全分散型平均場学習は有効である。
• オフライン推定と仮説的推論を用いることで、フィードバックなし型平均場学習は可能であるが、一貫性および初期点推定の問題は未解決のままである。