[論文レビュー] Mean field for Markov Decision Processes: from Discrete to Continuous Optimization

Nicolas Gast, Bruno Gaujal+1 more|arXiv (Cornell University)|Apr 14, 2010

Advanced Queuing Theory Analysis参考文献 17被引用数 10

ひとこと要約

本稿では、N個の相互作用する対象を有する大規模なマルコフ決定過程（MDP）が、平均場近似を介して、ハミルトニアン・ジョブスキー・ベルマン（HJB）方程式に従う連続時間最適制御問題に収束することを確立する。最適報酬が確実に収束することを証明し、連続最適化による漸近的最適ポリシー設計を可能にし、明示的な誤差バウンドとアルゴリズム的構築手順を提供する。

ABSTRACT

We study the convergence of Markov Decision Processes made of a large number of objects to optimization problems on ordinary differential equations (ODE). We show that the optimal reward of such a Markov Decision Process, satisfying a Bellman equation, converges to the solution of a continuous Hamilton-Jacobi-Bellman (HJB) equation based on the mean field approximation of the Markov Decision Process. We give bounds on the difference of the rewards, and a constructive algorithm for deriving an approximating solution to the Markov Decision Process from a solution of the HJB equations. We illustrate the method on three examples pertaining respectively to investment strategies, population dynamics control and scheduling in queues are developed. They are used to illustrate and justify the construction of the controlled ODE and to show the gain obtained by solving a continuous HJB equation rather than a large discrete Bellman equation.

研究の動機と目的

• N個の相互作用する対象を有する大規模なマルコフ決定過程（MDP）における最適報酬の理論的収束を確立すること。
• 特に、制御されたODEを用いた平均場近似が、大規模な離散MDPに対する厳密な近似として正当化されることを示すこと。
• 動的計画法の代わりに、計算的に実行可能な代替手段を提供することにより、高次元MDPにおける不変なベルマン方程式の代わりに連続HJB方程式を解くこと。
• 有限MDPの最適報酬と平均場HJB方程式の解との差に明示的なバウンドを導出すること。
• 連続HJB方程式の解から有限N MDPの漸近的最適ポリシーを構築するアルゴリズムフレームワークの開発

提案手法

• 著者らは、離散MDPの各サンプルパスを、制御された行動をとる平均場ODEを解く確率的軌道に関連付ける、新規のカップリング技術を用いる。
• 確率的近似および学習理論からのバウンディング技術を適用し、離散系と連続系との乖離を制御する。
• 平均場極限は、対称的かつ状態依存的なダイナミクスの下で、系の経験的占有測度を分析することにより導出される。
• 平均場ODEの最適制御ポリシーは、連続ハミルトニアン・ジョブスキー・ベルマン（HJB）方程式を解くことによって得られる。
• 明示的なアルゴリズムが提案される：まずHJB方程式を数値的に解き、その解を用いて元の有限N MDPのポリシーを構築する。
• 理論的収束は、確実な収束および確率的収束を用いて証明され、初期条件のずれとシステムの強度に依存する誤差バウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 平均場近似の下で、大規模な離散MDPの最適報酬は、連続HJB方程式の解に収束するか？
• RQ2 連続HJB方程式の解を用いて、元の有限N MDPに対して漸近的最適なポリシーを構築できるか？
• RQ3 有限MDPの最適報酬と平均場HJB解との差に、明示的なバウンドを導出できるか？
• RQ4 収束の挙動は、システムの強度I(N)および初期状態分布にどのように依存するか？
• RQ5 平均場極限の最適ポリシーが、有限系に対しても漸近的最適のまま保たれる条件は何か？

主な発見

• N → ∞ のとき、有限N MDPの最適報酬は、平均場HJB方程式の最適値に確実に収束する。
• 有限系の最適報酬と平均場解との差は、B(N, δ^N)でバウンドされ、ここでδ^N = ||M^N(0) - m_0||である。このバウンドはNが増加し、初期状態が平均場初期条件に収束するにつれて消える。
• 平均場HJBフレームワークにおけるε-最適ポリシーは、有限系のポリシーを生成し、その報酬が最適有限報酬からε + B(N, δ^N)以内に収まる。
• 本手法は、投資戦略、集団動態制御、キューイングスケジューリングの3つの例で検証され、連続HJB方程式を解くことで、著しく低い計算コストでほぼ最適な結果が得られた。
• 無限ホライズン割引MDPに対しても本手法は有効であり、有界誤差を伴う時間切断の議論により、有限ホライズン結果を拡張可能である。
• 一般に、最適ポリシー自体の収束は保証されない（不連続性や一意でない可能性があるため）、が、最適値の収束は確立されている。