[論文レビュー] Model-Free Mean-Field Reinforcement Learning: Mean-Field MDP and Mean-Field Q-Learning

René Carmona, Mathieu Laurière+1 more|arXiv (Cornell University)|Oct 28, 2019

Simulation Techniques and Applications参考文献 31被引用数 39

ひとこと要約

この論文は、共通ノイズを用いた平均場MDP（Mean Field MDP, MFMDP）フレームワークを導入し、平均場制御（MFC）とMFMDPを結ぶ基礎的性質を証明し、収束保証を持つモデルフリーRL手法（表形式および深層）を開発する。

ABSTRACT

We study infinite horizon discounted Mean Field Control (MFC) problems with common noise through the lens of Mean Field Markov Decision Processes (MFMDP). We allow the agents to use actions that are randomized not only at the individual level but also at the level of the population. This common randomization allows us to establish connections between both closed-loop and open-loop policies for MFC and Markov policies for the MFMDP. In particular, we show that there exists an optimal closed-loop policy for the original MFC. Building on this framework and the notion of state-action value function, we then propose reinforcement learning (RL) methods for such problems, by adapting existing tabular and deep RL methods to the mean-field setting. The main difficulty is the treatment of the population state, which is an input of the policy and the value function. We provide convergence guarantees for tabular algorithms based on discretizations of the simplex. Neural network based algorithms are more suitable for continuous spaces and allow us to avoid discretizing the mean field state space. Numerical examples are provided.

研究の動機と目的

• 共通ノイズを伴う無限長割引平均場制御を動機づけ、形式化する。
• 人口分布をMFMDPの状態として捉える。
• MFCポリシーとMFMDPポリシー（オープンループ、クローズドループ）との理論的関係を確立する。
• 平均場設定に適応したRL手法（表形式および深層）を開発・分析する。
• 提案フレームワークの収束保証と数値例を提供する。

提案手法

• 人口分布をMFMDPの状態として用いるMFMDPを定義する。
• MFMDP値関数のダイナミックプログラミング原理（DPP）を証明する（Theorem 19）。
• オープンループとクローズドループのMFC値関数の等価性を示し（Theorem 27）、定常クローズドループポリシの存在を示す（Proposition 25）。
• MFMDPの状態-アクション値関数（Q関数）とそのDPPを導入・分析する（Theorem 30）。
• 表形式Q学習をシンプレックス離散化で提案（Theorem 35）と、連続空間を扱う深層RL手法を提案。
• 離散化を避けるニューラルネットワークベースの手法を検討し、表形式離散化アプローチの収束保証を提供。

実験結果

リサーチクエスチョン

• RQ1 共通ノイズを伴う平均場制御を、人口分布上のマルコフ決定過程として再表現できるか。
• RQ2 共通乱数下でのMFCオープンループ/クローズドループポリシーとMFMDPポリシーとの関係はどのようになるか。
• RQ3 MFMDPおよびMFQ関数のダイナミックプログラミング原理を確立できるか。
• RQ4 MFMDPの最適ポリシーは元のMFC問題の最適ポリシーに対応するか、定常クローズドループポリシは存在するか。
• RQ5 表形式と深層を用いたモデルフリーRL手法は、収束保証を保ちながら平均場設定に適用できるか。

主な発見

• 元のMFC問題に対する最適なクローズドループポリシーが存在する（存在性の結果）。
• MFMDP値関数にはダイナミックプログラミング原理（DPP）が成り立つ。
• MFMDPフレームワーク下でオープンループとクローズドループのMFC値関数は等価である（Theorem 27）。
• 定常クローズドループポリシの存在がある（Proposition 25）。
• MFMDPの状態-行動値関数は独自のDPPを満たす（Theorem 30）。
• シンプレックス離散化を用いる表形式Q学習はMFMDP設定で収束する（Theorem 35）; 離散化を避ける連続空間対応としてニューラルネットワークベースの手法を提案。