[論文レビュー] Reinforcement Learning for Mean Field Games, with Applications to Economics

Andrea Angiuli, Jean‐Pierre Fouque+1 more|arXiv (Cornell University)|Jun 25, 2021

Economic Policies and Impacts被引用数 4

ひとこと要約

本稿では、有限時限設定における制御に基づく相互作用を伴う平均場ゲーム（MFG）および平均場制御（MFC）問題を解くために、二つの時スケールを用いた強化学習アルゴリズム、U2-MF-QL-FHを提案する。Q関数と制御分布のための学習率を分離することで、モデルフリーな枠組みにおいてMFGとMFCの学習を統合し、Q学習と分布更新を通じて均衡解および最適制御解の正確な近似を達成する。

ABSTRACT

Mean field games (MFG) and mean field control problems (MFC) are frameworks to study Nash equilibria or social optima in games with a continuum of agents. These problems can be used to approximate competitive or cooperative games with a large finite number of agents and have found a broad range of applications, in particular in economics. In recent years, the question of learning in MFG and MFC has garnered interest, both as a way to compute solutions and as a way to model how large populations of learners converge to an equilibrium. Of particular interest is the setting where the agents do not know the model, which leads to the development of reinforcement learning (RL) methods. After reviewing the literature on this topic, we present a two timescale approach with RL for MFG and MFC, which relies on a unified Q-learning algorithm. The main novelty of this method is to simultaneously update an action-value function and a distribution but with different rates, in a model-free fashion. Depending on the ratio of the two learning rates, the algorithm learns either the MFG or the MFC solution. To illustrate this method, we apply it to a mean field problem of accumulated consumption in finite horizon with HARA utility function, and to a trader's optimal liquidation problem.

研究の動機と目的

• 制御の分布を通じた相互作用を伴う平均場ゲームおよび平均場制御問題を解くためのモデルフリーな強化学習手法の開発。
• 異なる学習率比を用いることで、MFGとMFCの解法学習を1つのアルゴリズムフレームワークで統合すること。
• HARA効用に基づく消費と最適流動性化という2つの経済的応用において、手法の有効性を示すこと。
• エージェントが完全なモデル知識を持たない大規模集団意思決定問題に対してスケーラブルで数値的に安定したアプローチを提供すること。
• 既知のダイナミクスを超えて、RLベースの平均場解法をシミュレート済みまたはブラックボックス環境からの学習にまで拡張すること。

提案手法

• アルゴリズムは二時スケール更新ルールを用いる：Q行列（行動価値）は速やかに更新され、制御の経験的分布は遅く更新される。
• 観測された報酬と状態遷移に基づき、ε-greedy探索（ε = 0.1）を用いてQ関数のQ学習更新を実行する。
• 制御の分布は、より低い学習率で移動平均または経験的頻度推定値に基づき更新される。
• 学習率比（ω^Q, ω^θ）が、アルゴリズムがMFG解かMFC解に収束するかを決定する：Q更新が速いとMFGに、遅いとMFCに収束する。
• 連続状態問題は離散化され、状態空間と行動空間はΔx = Δa = 1/4で量子化される。
• 収束性は、平均場設定に拡張されたBorkarの確率的近似理論を用いて正当化される。

実験結果

リサーチクエスチョン

• RQ1 学習率比を調整することで、1つの強化学習アルゴリズムがMFGとMFCの両方の解を近似可能か？
• RQ2 Q関数の更新速度と分布更新速度の相対的な速さが、MFG解またはMFC解への収束にどのように影響するか？
• RQ3 基礎となるダイナミクスと報酬関数が未知である場合、モデルフリーなRLアプローチが最適制御と平均場項をどの程度正確に学習できるか？
• RQ4 HARA効用最大化や最適流動性化といった経済的関連問題において、アルゴリズムはどの程度の性能を示すか？
• RQ5 量子化と探索戦略の影響が、学習された制御関数および分布関数の精度にどのように現れるか？

主な発見

• ω^Q = 0.55、ω^θ = 0.85 の場合、U2-MF-QL-FHアルゴリズムは理論的MFG解を良好に近似し、初期段階で学習済み制御と理論的制御の間で高い一致を示した。
• ω^Q = 0.65、ω^θ = 0.15 の場合、アルゴリズムはMFC解に収束し、均衡解と最適制御の領域を切り替えられる能力を示した。
• 近似精度は初期時刻で最も高く、最終時限に近づくにつれて低下し、後期学習の複雑さが顕在化した。
• MFGおよびMFCの両ケースにおいて、学習済み制御分布の平均が理論的平均に収束しており、10回のランで平均を取った結果、安定した収束トレンドが確認された。
• 資本蓄積問題および流動性化問題の両方において、10回のランで安定した学習が達成され、時間軸全体で一貫した挙動を示した。
• アルゴリズムはモデル不確実性に対してロバストであり、ダイナミクスと報酬が既知だが複雑な場合でも、数値的ソルバーとして機能した。