[論文レビュー] Finite Optimal Control for Time-Bounded Reachability in CTMDPs and Continuous-Time Markov Games

Markus N. Rabe, Sven Schewe|arXiv (Cornell University)|Apr 22, 2010

Reinforcement Learning in Robotics参考文献 11被引用数 4

ひとこと要約

本稿は、連続時間マーカフ決定過程（CTMDPs）および連続時間マーカフゲーム（CTMGs）における時間制限付き到達可能性問題に対して、有限最適制御戦略の存在を確立する。最適スケジューラが決定的で、時刻に依存する位置的戦略であり、時間区間の有限分割上での区分的戦略であることを証明し、ゲームにおける対立的目的が存在する状況でも有限最適制御が保証されることを示す。

ABSTRACT

We establish the existence of optimal scheduling strategies for time-bounded reachability in continuous-time Markov decision processes, and of co-optimal strategies for continuous-time Markov games. Furthermore, we show that optimal control does not only exist, but has a surprisingly simple structure: The optimal schedulers from our proofs are deterministic and timed-positional, and the bounded time can be divided into a finite number of intervals, in which the optimal strategies are positional. That is, we demonstrate the existence of finite optimal control. Finally, we show that these pleasant properties of Markov decision processes extend to the more general class of continuous-time Markov games, and that both early and late schedulers show this behaviour.

研究の動機と目的

• 時間制限付き到達可能性問題におけるCTMDPsにおける最適制御の存在という長年の未解決問題を解消すること。
• 対立するプレイヤーを伴うより複雑な連続時間マーカフゲーム（CTMGs）の文脈に、最適制御の存在を拡張すること。
• 最適戦略が存在するだけでなく、有限で構造的な形をしていること——具体的には、決定的で時刻に依存する位置的戦略であり、有限個のスイッチング区間を持つこと——を示すこと。
• 早期スケジューラと遅延スケジューラの両モデルが同じ最適制御構造をもたらすことを示し、既存の結果を統一・一般化すること。
• 有限性および可測性を保証するトポロジー的・コンパクト性に基づく証明フレームワークを提供すること。

提案手法

• スケジューラのモデル化を簡素化し、早期スケジューラと遅延スケジューラの間の変換を可能にするために、CTMDPsに離散的な状態を導入する。
• 開集合の閉包上で意思決定を固定することにより、可測な最適スケジューラの存在を、位相的議論によって証明する。
• 有界な時間区間のコンパクト性を用いて、最適戦略が有限個の時間区間上で区分的であることを示す。
• 最適価値関数を記述する逆方向のコルモゴロフ型微分方程式を導出する：到達可能性問題では $-\dot{f}_{\mathsf{opt}}(l,t) = \max_{a} \sum_{l'} \mathbf{R}(l,a,l') \cdot (f_{\mathsf{opt}}(l',t) - f_{\mathsf{opt}}(l,t))$、安全問題では $\min$ を用いる。
• ナッシュ均衡が同じ微分方程式を満たすことを示し、CTMGsに拡張する。また、円筒的で決定的かつ時刻に依存する位置的共最適戦略の存在を証明する。

実験結果

リサーチクエスチョン

• RQ1 一般のスケジューラを用いた連続時間マーカフ決定過程（CTMDPs）における時間制限付き到達可能性問題に対して、最適制御戦略は存在するか？
• RQ2 CTMDPsにおける最適戦略の構造は、時間区間の分割上での有限かつ位置的であると特徴づけられるか？
• RQ3 対立的目的を伴う連続時間マーカフゲーム（CTMGs）に対しても、最適制御の存在および有限性は拡張可能か？
• RQ4 早期および遅延スケジューラの両方の意味論下でも、同じ構造的性質——決定的で、時刻に依存する位置的、有限のスイッチング点——がCTMGsで保持されるか？
• RQ5 無限に多くの状態や行動が存在する場合、時間制限付き到達可能性問題における最適戦略の有限性にどのような影響を与えるか？

主な発見

• 時間区間の有限分割上での決定的で、時刻に依存する位置的かつ区分的戦略である最適スケジューラが、CTMDPsにおける時間制限付き到達可能性問題に存在する。
• 最適制御戦略は、微分方程式系の後向き解法により計算可能である：到達可能性問題では $-\dot{f}_{\mathsf{opt}}(l,t) = \max_{a} \sum_{l'} \mathbf{R}(l,a,l') \cdot (f_{\mathsf{opt}}(l',t) - f_{\mathsf{opt}}(l,t))$ が成り立つ。
• CTMGsでは、両プレイヤーに対して共最適戦略が存在し、それらは円筒的で決定的かつ時刻に依存する位置的戦略であり、ナッシュ均衡を形成する。
• 最適価値関数を記述する微分方程式は、レートの局所的均一化に対して不変であり、計算の簡略化を可能にする。
• 無限に多くの状態や行動が存在する場合、最適戦略が無限個のスイッチング点を必要とする可能性があるため、有限性のためには有限状態／行動の仮定が必須であることが示される。
• 到達不能な終端状態領域に対しても、結果は拡張可能であり、終端条件を $f_{\mathsf{opt}}(l,t_{\max}) = 1$ と修正することで、同じ微分方程式が保たれる。