[論文レビュー] Entropy Regularization for Mean Field Games with Learning

Xin Guo, Renyuan Xu+1 more|arXiv (Cornell University)|Sep 30, 2020

Reinforcement Learning in Robotics参考文献 28被引用数 12

ひとこと要約

本稿では、学習を用いた平均場ゲーム（MFGs）において、エントロピー正則化を提案することで、均衡への収束を安定化・加速し、時間依存の探索方策を学習可能にする。有限時限MFGsにおいて、安定的で高速な収束と最適な探索スケジューリングの正確な学習を達成する、モデルフリーのポリシー勾配アルゴリズムを導入する。

ABSTRACT

Entropy regularization has been extensively adopted to improve the efficiency, the stability, and the convergence of algorithms in reinforcement learning. This paper analyzes both quantitatively and qualitatively the impact of entropy regularization for Mean Field Game (MFG) with learning in a finite time horizon. Our study provides a theoretical justification that entropy regularization yields time-dependent policies and, furthermore, helps stabilizing and accelerating convergence to the game equilibrium. In addition, this study leads to a policy-gradient algorithm for exploration in MFG. Under this algorithm, agents are able to learn the optimal exploration scheduling, with stable and fast convergence to the game equilibrium.

研究の動機と目的

• 有限時限平均場ゲームにおけるエントロピー正則化の安定化および収束加速の役割を理論的に裏付けること。
• 大規模集団設定におけるマルチエージェント強化学習に組み込む、エントロピー正則化を有するモデルフリーのポリシー勾配アルゴリズムを開発すること。
• エントロピー正則化を通じて、エージェントが時間依存の探索方策（最適な探索スケジューリング）を学習できるようにすること。
• アルゴリズムの安定性、収束速度、平均場均衡の学習精度について、理論的および実験的検証を提供すること。
• 特に有限時限MFGsにおけるマルチエージェント強化学習におけるエントロピー正則化の理論的理解のギャップを埋めること。

提案手法

• ポリシー勾配更新にエントロピー正則化を適用し、シャノンエントロピーを用いて探索を促進し、学習の安定化を図る。
• 零番目の最適化アプローチにより、導関数へのアクセスを必要とせず、ポリシー・パラメータに摂動を加えて勾配を推定する。
• エージェントのポリシー更新（固定された平均場情報のもと）と、新しいポリシーに基づく平均場の更新を交互に繰り返し、仮想的反復（fictitious play）を模倣する。
• 球面上のガウススムージングを用いて、有界でバイアスのある勾配推定値を計算し、完全なガウススムージングに起因する問題を回避する。
• 探索分散（ポリシーの標準偏差）を時間依存関数として学習し、最適な探索スケジューリングを表現する。
• モデルフリーのフレームワークに実装することで、モデルの誤指定を回避し、不確実な環境における耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は、有限時限設定における平均場ゲーム学習の安定性および収束速度にどのように影響するか？
• RQ2 エントロピー正則化により、エージェントは探索と活用のトレードオフを最適化する時間依存の探索方策を学習可能か？
• RQ3 エントロピー正則化は、平均場ゲームにおける最適方策の構造に理論的にどのような影響を与えるか？
• RQ4 純粋な活用と比較して、エントロピー正則化の導入は収束性および均衡の正確性においてどのように異なるか？
• RQ5 アルゴリズムは、最適な探索スケジューリング（時間変動するポリシー分散）を高い精度で学習可能か？

主な発見

• エントロピー正則化が存在しない場合（$\lambda_{SE} = 0$）、アルゴリズムは不安定となり、平均場更新の際に誤差レベルが振動し、急激なジャンプを示す。
• エントロピー正則化ありの場合（$\lambda_{SE} = 1$ または $3$）、アルゴリズムは安定して収束し、正則化強度に応じて3〜5回の外側反復で収束する。
• エントロピー正則化が強いほど収束速度が向上し、$\lambda_{SE} = 3$ では3回の外側反復で収束するが、$\lambda_{SE} = 1$ では5回かかる。
• $\lambda_{SE} = 1$ および $3$ の両方において、平均場状態 $m_s$ および価値関数 $V_s$ の両方で、5%未満の誤差で平均場均衡が学習される。
• エージェントは最適な探索スケジューリングを成功裏に学習し、ポリシーの分散が時間経過とともに減少し、誤差は5%未満で推定される。
• 学習された平均場均衡は高精度である：$\lambda_{SE} = 1$ の場合、$\widehat{M} = 0.732$ に対して真の値は $M = 0.75$、$\lambda_{SE} = 3$ の場合、$\widehat{M} = 0.736$。