[論文レビュー] Local Solutions of the Dynamic Programming Equations and the Hamilton Jacobi Bellman PDE

Carmeliza Navasca|ArXiv.org|Aug 30, 2002

Optimization and Variational Analysis参考文献 26被引用数 13

ひとこと要約

本稿では、無限時間ホライズン最適制御問題における動的プログラミング方程式（DPE）およびハミルトニアン・ジャコビ・ベルマン（HJB）偏微分方程式（PDE）の局所的近似解を求めるべき乗級法を提示する。アルブレヒトの手法を拡張することで、最適制御およびコスト・トゥ・ゴーの形式的テイラー展開をそれぞれ次数 $ r-1 $ および $ r $ まで計算し、局所的安定多様体定理およびシンプレクティック幾何学的手法を用いて、これらの展開と一致する滑らかな局所的解の存在を証明する。

ABSTRACT

We present methods for locally solving the Dynamic Programming Equations (DPE) and the Hamilton Jacobi Bellman (HJB) PDE that arise in the infinite horizon optimal control problem. The method for solving the DPE is the discrete time version of Al'brecht's procedure for locally approximating the solution of the HJB. We also prove the existence of the smooth solutions to the DPE that has the same Taylor series expansions as the formal solutions. Our procedure for solving the HJB PDE numerically begins with Al'brecht's local solution as the initial approximation and uses some Lyapunov criteria to piece together polynomial estimates. The polynomials are generated using the method in the Cauchy-Kovalevskaya Theorem.

研究の動機と目的

• 無限時間ホライズン最適制御問題における最適制御およびコスト・トゥ・ゴーの局所的べき級数近似を体系的に計算する手法の開発。
• 形式的べき級数展開と一致する滑らかな局所的解がDPEに存在することの証明。
• HJB PDEに対するアルブレヒトの手法を離散時間動的システムおよび $ \mathcal{C}^r $ スムーズな非線形系に拡張すること。
• ポントレヤーギン最大原理、ハミルトニアン力学、非線形系の局所的安定多様体の構成との間の関係を確立すること。
• リャプノフ基準およびレベル集合の切断を用いた局所多項式近似の区間間での接続を実行する数値アルゴリズムの提供。

提案手法

• DPEの形式的べき級数解を、最適制御およびコスト・トゥ・ゴーの係数について次数 $ r-1 $ および $ r $ まで再帰的に方程式系を解くことで導出する。
• 原点まわりの最適制御 $ \pi(x) $ およびコステート勾配 $ \kappa(x) $ の初期局所多項式近似をアルブレヒトの手法を用いて計算する。
• ポントレヤーギン最大原理を適用し、前向きのハミルトニアン力学を導出し、ハミルトニアン行列の固有構造を分析する。
• 局所的安定多様体定理を用いて、最適コスト関数に対応する滑らかな不変多様体を構成し、解の存在を保証する。
• シンプレクティック構造およびストークスの定理を用いて、近似過程でハミルトニアン系の幾何的性質を保持する。
• リャプノフ基準を用いて局所近似をレベル集合で切断し、隣接区間で新たな多項式展開を貼り付ける数値パッチングアルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 非線形最適制御問題において $ \mathcal{C}^r $ 動的システムおよびコスト関数を有する場合、HJB PDEの形式的べき級数解を体系的に構成可能か？
• RQ2 与えられた形式的べき級数展開と一致する滑らかな局所的解がDPEに存在する条件は何か？
• RQ3 ハミルトニアン系の局所的安定多様体は、最適コスト・トゥ・ゴー関数をどのように特徴づけるか？
• RQ4 ハミルトニアン行列の固有構造およびシンプレクティック形式が、局所的解の存在および一意性を保証するために果たす役割は何か？
• RQ5 リャプノフに基づく切断およびパッチング戦略を用いて、局所多項式近似を状態空間全体に効果的に拡張する方法は何か？

主な発見

• 本稿では、DPEから得られる再帰的係数方程式を用いて、最適制御およびコスト・トゥ・ゴーの形式的べき級数解をそれぞれ次数 $ r-1 $ および $ r $ まで構成する。
• 局所的安定多様体定理を用いて、形式的べき級数展開と一致する滑らかな局所的解がDPEに存在することを証明する。
• 最適コスト関数が、ハミルトニアン力学の安定多様体から構成されるラグランジュ部分多様体の勾配のグラフとして表されることを示す。
• 本手法は、プレーガー例において真の最適制御およびコスト関数を良好に近似する。数値結果により、$ \pi_{\text{new}}(x) $ および $ \kappa_{\text{new}}(x) $ が真の解 $ \pi_* $ および $ \kappa_* $ に収束することが図5.2で示された。
• アルゴリズムは、レベル集合で切断し再展開することで近似を段階的に改善し、$[0,4]$ では $ l=4 $、$(-1,0]$ では $ l=3 $ まで収束が観察された。
• ハミルトニアン行列の固有値として 0 が存在しても、それが安定な閉ループ固有値（固有値の大きさが1未満）に対応する限り、本手法は有効である。