[論文レビュー] HJB Equations for the Optimal Control of Differential Equations with Delays and State Constraints, I: Regularity and Applications. ∗

Salvatore Federico, Beniamin Gołdys+1 more|arXiv (Cornell University)|May 12, 2009

Stability and Controllability of Differential Equations参考文献 28被引用数 3

ひとこと要約

本稿は、状態制約付き遅延微分方程式の最適制御に現れるハミルトニアン・ジャコビ・ベルマン（HJB）方程式に対する最初の正則性結果を確立する。ヒルバート空間に問題を埋め込み、粘性解を分析することで、価値関数が連続であり、かつ『現在』方向における古典的微分可能性を有することを証明し、これにより古典的フィードバック制御則の構築が可能となる。

ABSTRACT

We study a class of optimal control problems with state constraints where the state equation is a differential equation with delays. This class includes some problems arising in economics, in particular the so-called models with time to build, see [1, 2, 25]. We embed the problem in a suitable Hilbert space H and consider the associated Hamilton-Jacobi-Bellman (HJB) equation. This kind of infinite-dimensional HJB equation has not been previously studied and is difficult due to the presence of state constraints and the lack of smoothing properties of the state equation. Our main result on the regularity of solutions to such a HJB equation seems to be completely new. More precisely we prove that the value function is continuous in a sufficiently big open set of H, that it solves in the viscosity sense the associated HJB equation and it has continuous classical derivative in the direction of the “present”. This regularity result is the starting point to define a feedback map in classical sense, which gives rise to a candidate optimal feedback strategy for the problem. The study of verification theorems and of the closed loop equation will be the subject of the forthcoming paper [20]. Keywords: Hamilton-Jacobi-Bellman equation, optimal control, delay equations, viscosity solutions, regularity.

研究の動機と目的

• 遅延微分方程式と状態制約を含む最適制御問題に取り組むこと、特に時間遅れを伴う経済モデルに生じる問題を対象とすること。
• このような問題に現れる無限次元HJB方程式の解の存在と正則性を確立すること。
• 適切なヒルバート空間枠組みにおいて価値関数の十分な滑らかさを証明することで、フィードバック制御設計の基盤を提供すること。
• 遅延方程式が滑らかさの性質を欠くことと、HJB解析において状態制約が引き起こす課題に打ち勝つこと。

提案手法

• 状態軌道の無限次元性を扱うために、遅延制御問題をヒルバート空間 H に埋め込むこと。
• このヒルバート空間設定において、関連するハミルトニアン・ジャコビ・ベルマン（HJB）方程式を定式化すること。
• 状態ダイナミクスに滑らかさ効果が欠如しているにもかかわらず、粘性解理論を用いてHJB方程式を分析すること。
• 価値関数が H の十分に大きな開集合で連続であることを証明すること。
• 価値関数が『現在の状態』方向（「現在」方向）に古典的微分可能性を有することを確立すること。
• この正則性を活用して、元の問題における古典的意味での候補最適フィードバック制御を定義すること。

実験結果

リサーチクエスチョン

• RQ1 遅延および状態制約を伴う最適制御問題の価値関数が、無限次元設定において十分な正則性を有することを示せるか？
• RQ2 遅延方程式が滑らかさの性質を欠く場合、ヒルバート空間におけるHJB方程式の粘性解をどのように分析できるか？
• RQ3 状態制約が存在する中で、『現在』方向における価値関数の古典的微分可能性が保証されるための条件は何か？
• RQ4 価値関数の正則性を用いて、古典的意味でのフィードバック制御則を構築できるか？
• RQ5 ヒルバート空間への埋め込みが、制約付き遅延系のHJB方程式解析を可能にする役割は何か？

主な発見

• 価値関数はヒルバート空間 H の十分に大きな開集合で連続であり、最適コストの安定性を保証する。
• 価値関数は関連するHJB方程式を粘性解の意味で満たし、動的計画法の原則における解としての役割を裏付ける。
• 価値関数は『現在』状態の方向に古典的微分可能性を有する。これは、このような無限次元HJB方程式において、画期的な正則性結果である。
• この方向微分可能性を活用して、古典的意味での候補最適フィードバック戦略を構築できる。
• 本研究は、状態制約付き遅延系におけるフィードバック制御の理論的基盤を初めて提供し、検証および閉ループ解析への道筋を示す。
• 本手法は、[1, 2, 25] に例える経済的時間遅れモデル（time-to-build）にも適用可能であり、それらの解析的取り扱いを拡張する。