[論文レビュー] Unified Reinforcement Q-Learning for Mean Field Game and Control Problems

Andrea Angiuli, Jean‐Pierre Fouque+1 more|arXiv (Cornell University)|Jun 24, 2020

Adaptive Dynamic Programming Control被引用数 7

ひとこと要約

本稿では、離散時間・離散空間における平均場ゲーム（MFG）および平均場制御（MFC）問題の両方の解を同時に学習する統一的二時定数強化学習アルゴリズム、U2-MF-QLを提案する。2つの学習率の比を調整することで、同じアルゴリズムが非協力的MFG均衡または協力的MFC最適解の両方を学習可能であり、モデルフリーな人口分布推定を用いて、線形二次モデルにおいて理論的ベンチマークへの収束を達成する。

ABSTRACT

We present a Reinforcement Learning (RL) algorithm to solve infinite horizon asymptotic Mean Field Game (MFG) and Mean Field Control (MFC) problems. Our approach can be described as a unified two-timescale Mean Field Q-learning: The \emph{same} algorithm can learn either the MFG or the MFC solution by simply tuning the ratio of two learning parameters. The algorithm is in discrete time and space where the agent not only provides an action to the environment but also a distribution of the state in order to take into account the mean field feature of the problem. Importantly, we assume that the agent can not observe the population's distribution and needs to estimate it in a model-free manner. The asymptotic MFG and MFC problems are also presented in continuous time and space, and compared with classical (non-asymptotic or stationary) MFG and MFC problems. They lead to explicit solutions in the linear-quadratic (LQ) case that are used as benchmarks for the results of our algorithm.

研究の動機と目的

• アーキテクチャの変更なしに、平均場ゲーム（MFG）および平均場制御（MFC）問題の両方を解ける1つの強化学習アルゴリズムを開発すること。
• エージェントが平均場を直接観測できないMFG/MFC設定において、人口分布のモデルフリー学習を可能にすること。
• 二時定数確率的近似アプローチを用いて、MFGとMFCの学習を共通の枠組みで統合すること。
• ベンチマーク線形二次問題における数値実験を通じて、アルゴリズムの収束性と正確性を検証すること。
• Q値の増分変化および経験的分布に基づく、実用的な停止基準の提供

提案手法

• アルゴリズムは、Q関数（高速時定数）と経験的分布（低速時定数）のための別々の学習率を用いる二時定数確率的近似フレームワークを採用する。
• エージェントが行動と状態分布の両方を選択することで、平均場相互作用を反映させるために、古典的Q学習を拡張する。
• 行動価値関数を再定義し、平均場効果を埋め込む。Q関数は、状態-行動分布の下での期待割引報酬を表す。
• 訓練中は$ε$-グリーディポリシーを採用し、$ε \to 0$の極限で決定的制御が出現する。
• 学習プロセスは、オンライン更新を用いて状態のエルゴディック分布を推定し、長期間の経験的分布を追跡するために低速時定数を用いる。
• 全エピソードにわたる分布の全変動とQ値変化の$L^{1,1}$-ノルムに基づいた停止基準を実装する。

実験結果

リサーチクエスチョン

• RQ1 1つの強化学習アルゴリズムが、2つの学習率の比を僅かに調整するだけで、MFGとMFCの両方の解を学習可能か？
• RQ2 人口分布が観測不能であり、オンラインで推定されなければならない状況において、アルゴリズムは最適制御とエルゴディック分布の学習をどの程度効果的に実行できるか？
• RQ3 線形二次ベンチマークケースにおいて、アルゴリズムの収束行動はどのように振る舞い、理論的解と比較してどうなるか？
• RQ4 異なる学習率の比は、MFGとMFC設定の両方において、アルゴリズムの安定性と収束速度にどのように影響するか？
• RQ5 Q値の増分変化と分布推定値に基づいた、アルゴリズムの停止基準は、実用的に効果的にキャリブレーション可能か？

主な発見

• U2-MF-QLアルゴリズムは、同じアーキテクチャを用い、2つの学習率の比を僅かに調整するだけで、MFGおよびMFC問題の最適制御とエルゴディック分布を効果的に学習した。
• 線形二次ベンチマークにおいて、100,000エピソード経過後、MFGおよびMFC両ケースで制御の平均二乗誤差（MSE）が0.01未満に低下し、理論的解に収束した。
• MFG設定では、エルゴディック平均の推定誤差がエピソード数の増加に従い滑らかに減少するが、MFC設定では分布の更新が遅いため、速いが振動的な収束が観察された。
• 分布の全変動とQ値変化の$L^{1,1}$-ノルムに基づくアルゴリズムの停止基準は、収束を効果的に検出でき、両指標が時間経過とともに単調に減少した。
• $(\omega^{Q}, \omega^{\mu}) = (0.55, 0.85)$の選択はMFG解の学習を、$(0.65, 0.15)$の選択はMFC解の学習をもたらし、学習率の調整による統合が確認された。
• 実験的結果から、学習されたQ値と制御が理論的解とよく一致しており、テスト範囲の状態において、価値関数近似誤差は0.02未満で維持された。