[論文レビュー] A Class of Delay Optimal Control Problems and Viscosity Solutions to Associated Hamilton-Jacobi-Bellman Equations

Jianjun Zhou|arXiv (Cornell University)|Jul 15, 2015

Optimization and Variational Analysis参考文献 21被引用数 4

ひとこと要約

本稿は、状態力学に滑らかでない遅延項を含む遅延微分方程式に起因する最適制御問題におけるハミルトニアン・ジャコビ・ベルマン（HJB）方程式に対して、新規な可視化解枠組みを導入する。価値関数が関連するHJB方程式の一意な可視化解として特定されることを確立し、滑らかさの欠如および非ゼロの遅延係数 $ b(\cdot) $ による課題を克服する。これにより、従来のヒルバート空間に基づく手法が無効となる状況に対応する。

ABSTRACT

In this article, a class of optimal control problems of differential equations with delays are investigated for which the associated Hamilton-Jacobi-Bellman (HJB) equations are nonlinear partial differential equations with delays. This type of HJB equation has not been previously studied and is difficult to solve because the state equations do not possess smoothing properties. We introduce a slightly different notion of viscosity solutions and identify the value function of the optimal control problems as a unique viscosity solution to the associated HJB equations.

研究の動機と目的

• 遅延微分方程式を含む最適制御問題に関連するハミルトニアン・ジャコビ・ベルマン（HJB）方程式に対する可視化解理論の欠如に対処すること。
• 特に遅延係数 $ b(\cdot) \neq 0 $ の場合に生じる、遅延ダイナミクスの滑らかでない性質に起因する困難を解決すること。これにより、従来のヒルバート空間に基づく手法が無効となる。
• 最適制御問題の価値関数が、有界かつ右連続関数の空間 $ \mathcal{D} $ における関連HJB方程式の唯一の可視化解として特定されることを確立すること。
• 遅延を含むHJB方程式に適した、可視化解の概念の修正を構築し、この文脈における動的計画法の原則の適用を可能にすること。

提案手法

• 状態方程式に遅延を含むHJB方程式に適した、修正された可視化解の定義を導入する。特に、$ [-\tau, 0] $ 上の有界かつ右連続な $ \mathbb{R}^d $ 値関数の空間 $ \mathcal{D} $ において。
• HJB方程式の構造を分析：$ \partial_t V + \mathcal{S}(V) + H(t,x,\nabla_x V) = 0 $、ここで $ H $ は制御入力の下界を含み、$ (a,X_s)_H $ を介して遅延依存項を含む。
• 摂動されたテスト関数法を適用し、$ |\hat{x}(0) - \hat{y}(0)|^2 $、$ |\hat{x} - \hat{y}|_B^2 $、および時間重み付きノルムを含む2次ペナルティ項を用いて、遅延および非滑らか性を扱う。
• 最大原理に基づく背理法を用いる。可視化パrameter $ \alpha \to \infty $ の極限において、厳密な上位解であると仮定し、矛盾を導出する。
• 終端時刻付近での挙動を制御するため、時間重み付き項 $ \varepsilon \frac{\mu T - t}{\mu T} |\cdot|^2 $ を含む、巧みに構築されたテスト関数を用いる。
• F、q、φ、a、b に対するリプシッツ連続性および有界性の仮定の下で、可視化解の存在および一意性を、可視化下位解および上位解条件の検証によって確立する。

実験結果

リサーチクエスチョン

• RQ1 状態方程式が滑らかさを欠く場合、遅延ダイナミクスを伴う最適制御問題に起因するHJB方程式に対して、可視化解理論を構築できるか？
• RQ2 遅延係数 $ b(\cdot) \neq 0 $ の場合、標準的なヒルバート空間に基づく手法が無効となるにもかかわらず、価値関数を可視化解として特徴づける方法は何か？
• RQ3 状態および制御変数に遅延を含むHJB方程式に対処するため、古典的可視化解概念にどのような修正が必要か？
• RQ4 記憶効果により非マルコフ的となる動的特性のもとでも、空間 $ \mathcal{D} $ におけるHJB方程式に対して、価値関数が唯一の可視化解であるか？
• RQ5 修正された可視化解枠組みを用いて、この文脈における動的計画法の原則を厳密に正当化できるか？

主な発見

• 価値関数 $ V(t,x) = \inf_{u \in \mathcal{U}[t,T]} J(t,x,u) $ が、状態ダイナミクスに滑らかさが欠如するにもかかわらず、空間 $ \mathcal{D} $ における関連HJB方程式 (1.4) の唯一の可視化解であることが証明された。
• F、q、φ に対するリプシッツ連続性および a、b、u に対する有界性の標準的仮定の下で、可視化解の存在および一意性が確立された。
• 価値関数が厳密な上位解であると仮定し、パrameter $ \varepsilon $ および $ \alpha $ を含む摂動されたテスト関数を用いて背理法を適用した。その結果、$ c \leq c/2 $ が得られ、これは不可能である。
• 証明は、ハミルトニアン $ H $ の精密な分析に依拠しており、リプシッツ連続性およびモジュラス連続性 $ \rho $ を用いて、近接する点における $ H $ の差の上限を確保することで、安定性を保証する。
• 修正された可視化解概念は、特に $ b(t)X^{u}(t - \tau) $ 項を含む遅延構造を的確に扱い、標準的な正則性およびコンパクト性の議論を破壊する要因に対処した。
• この結果により、動的計画法の適用範囲が、工学、経済学、および人口動態分野における非線形的かつ非マルコフ的モデルを含む、より広範な遅延系クラスへと拡張された。