[論文レビュー] Value and Policy Iteration in Optimal Control and Adaptive Dynamic Programming

Dimitri P. Bertsekas|arXiv (Cornell University)|Jul 3, 2015

Adaptive Dynamic Programming Control参考文献 15被引用数 4

ひとこと要約

本稿は、終端集合 $X_s$ を持つ離散時間無限ホライズン最適制御問題において、ベルマン方程式の最小解として最適コスト関数 $J^*$ の一意性を確立し、一般条件下で価値反復（VI）および方策反復（PI）の収束を証明する。主な貢献は、グローバルに安定化する制御則や有界コスト関数の仮定を不要とする、正則性に基づく解析である。

ABSTRACT

In this paper, we consider discrete-time infinite horizon problems of optimal control to a terminal set of states. These are the problems that are often taken as the starting point for adaptive dynamic programming. Under very general assumptions, we establish the uniqueness of solution of Bellman's equation, and we provide convergence results for value and policy iteration.

研究の動機と目的

• 無限ホライズン最適制御問題における終端集合 $X_s$ を持つ状況で、ベルマン方程式の最小解として最適コスト関数 $J^*$ の一意性を確立すること。
• 非負で、かつ無限である可能性のある段階コストを伴う問題において、価値反復（VI）および方策反復（PI）アルゴリズムの一般収束条件を提供すること。
• グローバルに安定化する制御則に関する仮定を排除することで、有界でない、または滑らかでないコスト関数を伴う問題への広範な適用可能性を実現すること。
• $S$-正則性が、$J^*$ が拡張実数値である場合でさえも、VI や PI が最適コスト関数 $J^*$ に収束することを保証する役割を形式化すること。
• 抽象的動的プログラミングの原則と正則性条件に裏打ちされた理論的基盤を提供することで、適応的動的プログラミングの理論的基盤を拡張すること。

提案手法

• コスト関数 $g(x,u) = 0$ かつ遷移関数 $f(x,u) = x$ を満たす停止集合 $X_s \subset X$ を定義し、任意の $x \in X_s$ に対して $J^*(x) = 0$ となるように保証する。
• 終端集合 $X_s$ に漸近的に到達可能な状態の集合 $X_f = \{x \in X \mid J^*(x) < \infty\}$ を定義する。
• $S$-正則性を、方策-状態ペア $(\pi, x_0)$ に対して定義し、任意の $J \in S$ を初期関数として用いた VI の極限が $J_\pi(x_0)$ に一致することを保証する。
• 正則性枠組みを適用して、$J^*$ がクラス $\{J \in S \mid J \geq J^*\}$ 内でベルマン方程式の唯一の解であることを示す。
• 価値反復を $J_{k+1}(x) = \inf_{u \in U(x)} \{g(x,u) + J_k(f(x,u))\}$ として、方策反復を反復的評価と改善の手続きとして用いる。
• コストの非負性と最小化制御則の存在という弱い仮定のもとで、$J_k \to J^*$ および $J_{\mu^k} \to J^*$ の点収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 最適コスト関数 $J^*$ が、制限された関数クラス内でベルマン方程式の唯一の解となる条件は何か？
• RQ2 段階コストが無限である可能性のある問題において、価値反復が最適コスト関数 $J^*$ に収束する条件は何か？
• RQ3 方策反復が $J^*$ に収束するのはいつか？ また、各ステップで最小化制御則の存在を保証する条件は何か？
• RQ4 グローバルに安定化する制御則の存在を仮定しないで、VI や PI の収束をどのように保証できるか？
• RQ5 $S$-正則性条件が、$J^*$ が唯一の解であることを保証し、VI が $J^*$ に収束することを保証する役割は何か？

主な発見

• 集合 $S$ に属する関数のクラス $\{J \in S \mid J \geq J^*\}$ 内で、最適コスト関数 $J^*$ はベルマン方程式の唯一の解である。ここで $S$ は正則性条件を満たす関数の集合である。
• 方策-状態ペアが $S$-正則であり、$J^*$ が終了方策における最適コストである限り、任意の非負初期関数 $J_0$ を用いた価値反復は $J^*$ に点収束する。
• 同じ正則性および最小化制御則の存在条件のもとで、方策反復も $J^*$ に点収束し、$k \to \infty$ のとき $J_{\mu^k} \to J^*$ が成り立つ。
• コスト関数の有界性やグローバルに安定化する制御則の存在を仮定しないことで、有界でない、非滑らかな問題への適用範囲を広げた。
• 非割引および割引付き問題の両方において、非負の段階コストを伴う問題に有効であり、割引係数のおかげで割引付きの場合に強い収束保証が得られる。
• 理論的枠組みは抽象的動的プログラミングと正則性理論に裏打ちされており、適応的動的プログラミングおよび強化学習アルゴリズムの統一的基盤を提供する。