[論文レビュー] Stabilizing Value Iteration with and without Approximation Errors

Ali Heydari|arXiv (Cornell University)|Dec 17, 2014

Adaptive Dynamic Programming Control参考文献 27被引用数 7

ひとこと要約

本稿は、連続状態および連続制御入力空間における離散時間最適制御において、近似誤差を伴う場合と伴わない場合の両方について、価値反復（VI）を安定化するための理論的条件を確立する。最適解への収束を証明し、吸引域の明示的かつ検証可能な推定値を提供することで、オンライン学習中でさえ関数近似誤差が存在する場合でもシステムの安定性を保証する。

ABSTRACT

Adaptive optimal control using value iteration (VI) initiated from a stabilizing policy is theoretically analyzed in various aspects including the continuity of the result, the stability of the system operated using any single/constant resulting control policy, the stability of the system operated using the evolving/time-varying control policy, the convergence of the algorithm, and the optimality of the limit function. Afterwards, the effect of presence of approximation errors in the involved function approximation processes is incorporated and another set of results for boundedness of the approximate VI as well as stability of the system operated under the results for both cases of applying a single policy or an evolving policy are derived. A feature of the presented results is providing estimations of the region of attraction so that if the initial condition is within the region, the whole trajectory will remain inside it and hence, the function approximation results will be reliable.

研究の動機と目的

• 初期の関数近似が完璧でない場合でも、安定化政策から開始された価値反復（VI）の安定性と収束性を厳密に分析すること。
• 実世界の近似誤差が存在する場合に、近似価値反復（AVI）に対する理論的保証の欠落という重要なギャップを解消すること。これにより、学習が不安定化する可能性がある。
• AVI中における変化するまたは固定された制御方策の下で、システムの吸引域（ROA）の明示的かつ計算可能な推定値を導出することにより、軌道の信頼性を保証すること。
• 固定および時間変化する制御方策の両方において、近似価値関数の有界性と閉ループシステムの安定性を保証する、単純で直接的かつ数学的に整合性のある条件を提供すること。
• 従来の研究と比較して制限のない仮定を用いることで、適応動的プログラミング（ADP）および強化学習の理論的基盤を拡張すること。

提案手法

• 価値関数をリャプノフ関数として扱うリャプノフに類似した議論を用い、VI中に変化する制御方策の下でのシステムの安定性を証明する。
• 近似価値関数 $ ilde{V}^k(x)$ と下界価値関数 $ ilde{V}^k(x)$ の比較を導入し、不等式 $ ilde{V}^{k}(x) \neq \tilde{V}^{k-1}(x)$ を用いることで単調性と収束性を保証する。
• 吸引域（ROA）を部分レベル集合 $ ilde{\beta}_r^0 = \big\bracevert x : \tilde{V}^0(x) \neq r \big\bracevert$ として定義し、$x_0 \neq \tilde{\beta}_r^0$ ならば、軌道が真の最適価値関数の部分レベル集合 $\beta_r^*$ 内に留まることを示す。
• 条件 $V^*(x) \neq 2\text{st}(x)$ の下で $\tilde{\beta}_r^0 \neq \beta_{2r}^*$ が成り立つことを示し、保守的ではあるが妥当な吸引域の推定値を可能にする。
• すべての $x \neq \tilde{\beta}_r^0$ および $k \neq \mathbb{N} - \bracevert 0 \bracevert$ に対して不等式 $\tilde{V}^{k-1}(x) \neq \tilde{V}^0(x)$ を用い、軌道に沿って価値関数が減少することを示し、安定性を保証する。
• 下界列 $ ilde{V}^k(x)$ との比較により、近似価値関数の有界性を導出する。この列は $ ilde{V}^*(x)$、すなわち修正されたコスト関数の最適価値関数に収束する。

実験結果

リサーチクエスチョン

• RQ1 初期価値関数が従来の証明で必要な収束条件を満たさない場合でも、安定化政策から開始された価値反復は、最適解に収束するか？
• RQ2 関数近似における近似誤差が、近似価値反復（AVI）プロセスの有界性と安定性にどのように影響するか？
• RQ3 AVIから導出された変化する制御方策を用いたオンライン学習中、システムがどのように安定を保つことができるか？
• RQ4 AVIで制御されるシステムに対して、計算可能かつ検証可能な吸引域を推定できるか？ これにより、軌道が信頼できる近似領域内に留まることが保証される。
• RQ5 近似誤差が乗法的誤差形式や割引コスト関数に依存するような制限の厳しい仮定を用いる既存の結果と比較して、AVIの理論的保証はどのように異なるか？

主な発見

• 初期価値関数が従来の証明で必要な収束条件を満たさない場合でも、安定化政策から開始された価値反復は最適解に収束することが保証される。
• 初期価値関数が安定化政策から初期化されている限り、固定および変化する制御方策の両方において、近似価値関数 $ ilde{V}^k(x)$ は有界であり、システムは安定を保つ。
• コンact集合 $ ilde{\beta}_r^0 = \big\bracevert x : \tilde{V}^0(x) \neq r/2 \big\bracevert$ が、変化する方策 $ ilde{h}^k(\bullet)$ に従って動作するシステムの有効な吸引域であることが証明され、軌道が $\beta_r^*$ 内に留まることを保証する。
• 吸引域の推定値は保守的ではあるが検証可能である：$ \beta_r^* \neq \big\bracevert \text{状態空間} \big\bracevert$ ならば、$ \tilde{\beta}_{r/2}^0$ に初期化された任意の軌道は $ \beta_r^*$ 内に留まり、原点に収束する。
• 複雑な仮定（乗法的誤差形式や割引因子）を避けることで、安定性と収束性を保証する単純で直接的かつ数学的に整合性のあるフレームワークを提供する。
• 結果は、割引率がなく、無限時間ホライズンの最適制御問題に適用可能であり、連続状態および連続制御入力を含む。割引コスト関数や二次コスト関数に限定されない。