[論文レビュー] Dynamic Programming Principles for Mean-Field Controls with Learning

Haotian Gu, Xin Guo+2 more|arXiv (Cornell University)|Nov 17, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 16

ひとこと要約

本稿は、状態と行動の分布を考慮する新しいQ関数であるIQ関数を導入することで、学習フレームワークにおける平均場制御（MFC）の動的計画法の原則（DPP）を確立した。IQ関数はMFCにおける時間的一致性を保証し、Pareto最適解に収束する安定なQ学習アルゴリズムの実現を可能にした。数値実験により、ナッシュ均衡方策よりも累積報酬が10倍高いことが確認された。

ABSTRACT

Dynamic programming principle (DPP) is fundamental for control and optimization, including Markov decision problems (MDPs), reinforcement learning (RL), and more recently mean-field controls (MFCs). However, in the learning framework of MFCs, DPP has not been rigorously established, despite its critical importance for algorithm designs. In this paper, we first present a simple example in MFCs with learning where DPP fails with a mis-specified Q function; and then propose the correct form of Q function in an appropriate space for MFCs with learning. This particular form of Q function is different from the classical one and is called the IQ function. In the special case when the transition probability and the reward are independent of the mean-field information, it integrates the classical Q function for single-agent RL over the state-action distribution. In other words, MFCs with learning can be viewed as lifting the classical RLs by replacing the state-action space with its probability distribution space. This identification of the IQ function enables us to establish precisely the DPP in the learning framework of MFCs. Finally, we illustrate through numerical experiments the time consistency of this IQ function.

研究の動機と目的

• 強化学習における重要な役割を果たすが、学習フレームワーク下でのMFCにおける動的計画法の原則（DPP）の形式的証明がなされていなかったにもかかわらず、MFCにおけるDPPを厳密に確立すること。
• 個々の状態に依存するのではなく、状態および行動の分布に依存するため、古典的Q関数とは異なる形をとるMFCにおける正しいQ関数の特定。
• 古典的強化学習を確率分布空間上で動作するIQ関数を導入することで、MFCにおける時間的一致性の問題を解決すること。
• 供給ゲーム設定における数値実験を通じて、IQ関数の時間的一致性および収束性を実証すること。
• 大規模意思決定におけるPareto最適解（MFC）とナッシュ均衡解（MFG）の性能を比較し、Pareto最適性の効率的優位性を示すこと。

提案手法

• 時間的一致性を保証するため、個々の状態ではなく状態・行動分布の空間上で定義される、MFCにおける正しいQ関数としてIQ関数を導入。
• 次状態分布を離散化された確率空間に射影することで、実行可能性を維持する射影ベースの学習アルゴリズム（アルゴリズム2）を提案。これにより数値的安定性が確保される。
• Q学習の更新ルールを採用：$ Q_{t+1}('\nu', h) = (1-l_t)Q_t('\nu', h) + l_t \times (\hat{r}_t + \gamma \max_{h'} Q_t(\nu', h')) $、ここで$ \nu' $は射影された次状態分布である。
• 計算の実行可能性を確保するため、離散化された状態・行動空間$ \hat{\mathcal{P}}(\mathcal{S}) \times \hat{\mathcal{H}} $を用い、$ N_s = 20 $、$ N_a = 20 $、定常学習率$ l_t = 0.1 $とする。
• Boltzmann方策$ \pi(s)(a) \sim \exp(\beta Q(s,a)) $（$ \beta = 1 $）を用いて、MFC方策（Pareto最適）とMFG方策（ナッシュ均衡）を比較。
• 100ステップの供給ゲームにおける数値実験を通じて収束性および性能を検証。累積報酬および学習済み方策下での期待供給量を測定。

実験結果

リサーチクエスチョン

• RQ1 古典的Q関数は、時間的一致性の欠如により、学習を伴う平均場制御で失敗するのか？ もしそうならば、その理由は何か？
• RQ2 時間的一致性を保証し、安定な学習を可能にするために、学習を伴うMFCにおける正しいQ関数の形は何か？
• RQ3 提案されたIQ関数を用いて、MFCの学習フレームワーク下で動的計画法の原則を厳密に確立できるか？
• RQ4 累積報酬および供給行動の観点から、Pareto最適なMFC方策とナッシュ均衡なMFG方策の性能は、どのように比較されるか？
• RQ5 実用的な学習設定において、IQ関数は数値的に安定かつ収束するか？

主な発見

• 供給ゲーム実験において、IQ関数は60回の外側反復内に誤差0.01未満の安定解に収束した。
• 1000ラウンドにわたる実験で、MFC方策の累積報酬はMFG方策の約10倍にのぼり、大規模システムにおけるPareto最適性の効率的優位性が実証された。
• MFC解では、価格が低い場合（例：$ \mathbb{E}[a^*(0)] = 0.4 $）に供給量が少なくなり、価格が高い場合（例：$ \mathbb{E}[a^*(19)] = 3.1 $）に供給量が多くなるなど、価格インパクトへの最適応答が反映された。
• MFG解では、競争的インcentiveのため、一貫して高い期待供給量（例：$ \mathbb{E}[a^*(19)] = 3.68 $）を示し、全体系としての観点からは非効率であることが示された。
• Q学習アルゴリズムの収束および射影された状態分布の安定性により、IQ関数の時間的一致性が実証された。
• IQ関数は、状態および行動の確率分布空間上で動作する点で、古典的Q学習を一般化しており、単一エージェントRLを平均場設定に効果的に拡張している。