[論文レビュー] HJB Equations for the Optimal Control of Differential Equations with Delays and State Constraints, II: Optimal Feedbacks and Approximations

Salvatore Federico, Beniamin Gołdys+1 more|ArXiv.org|Jul 9, 2009

Stochastic processes and financial applications参考文献 28被引用数 7

ひとこと要約

本稿は、遅れ微分方程式と状態制約を伴う無限次元最適制御問題に対して、バッファ型検証定理を用いて最適フィードバック制御の存在を確立する。適切な正則性のもとで、ハミルトニアン・ジャコビ・ベルマン方程式から導かれるフィードバック戦略が最適であることを証明し、点時遅れモデルへの応用を可能にする近似スキームを提示する。これにより、より広範な問題クラスに対してε-最適制御が得られる。

ABSTRACT

This paper, which is the natural continuation of a previous paper by the same authors, studies a class of optimal control problems with state constraints where the state equation is a differential equation with delays. This class includes some problems arising in economics, in particular the so-called models with time to build. The problem is embedded in a suitable Hilbert space H and the regularity of the associated Hamilton-Jacobi-Bellman (HJB) equation is studied. Therein the main result is that the value function V solves the HJB equation and has continuous classical derivative in the direction of the present. The goal of the present paper is to exploit such result to find optimal feedback strategies for the problem. While it is easy to define formally a feedback strategy in classical sense the proof of its existence and of its optimality is hard due to lack of full regularity of V and to the infinite dimension. Finally, we show some approximation results that allow us to apply our main theorem to obtain epsilon-optimal strategies for a wider class of problems.

研究の動機と目的

• 遅れ微分方程式と状態制約を伴う最適制御問題に対する最適フィードバック戦略の存在を確立すること。
• 値関数の正則性が限定的である無限次元設定に、検証定理フレームワークを拡張すること。
• 点時遅れを持つ問題に適用可能な近似技術を開発し、主定理がカバーしない範囲にまで適用を拡大すること。
• 時間遅れを伴う経済モデルにおける理論的フィードバック合成と実用的適用のギャップを埋めること。
• ヒルバート空間設定においてバッファ解に基づく検証定理を用いて、フィードバック制御の最適性を検証すること。

提案手法

• 無限次元ダイナミクスを扱うために、遅れ制御問題をヒルバート空間 H = ℝ × L²([-T,0]) に埋め込む。
• 先行研究（Federico et al., 2023）の正則性結果を用い、値関数が「現在」方向に対して連続な古典的微分を持つことを仮定する。
• 無限次元におけるバッファ解に対する新しい検証定理を適用し、フィードバック戦略の最適性を確認する。
• HJB方程式から形式的にフィードバック則を構成し、十分な条件下でその適切性と最適性を証明する。
• 点時遅れを扱うために、滑らか化された遅れカーネルと切り詰められた制御を用いた近似問題の系列を導入する。
• 近似問題族全体にわたる収束議論を用いて、元の問題に対してε-最適戦略を構成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 状態制約を伴う遅れ制御問題に対して、無限次元ヒルバート空間上での最適フィードバック戦略を厳密に構成し、その最適性を証明できるか？
• RQ2 値関数の勾配正則性が完全でない無限次元設定において、検証定理をどのように適合させられるか？
• RQ3 正則性が限定的であっても、形式的に導かれたフィードバック則が適切かつ最適であるための条件は何か？
• RQ4 近似技術を用いることで、時間遅れを伴う経済モデルに見られるような点時遅れを持つモデルへの主定理の適用範囲を拡大できるか？
• RQ5 主定理の存在結果がカバーしない問題に対して、ε-最適フィードバック戦略をどのように構成できるか？

主な発見

• バッファ解における無限次元設定の検証定理が確立され、値関数が「現在」方向に対して連続な古典的微分を持つ場合、HJB方程式から導かれるフィードバック戦略が最適であることを証明した。
• 完全な勾配正則性がなくても、形式的フィードバック則が適切かつ最適であるための十分条件を提示した。
• 滑らか化された遅れカーネルと切り詰められた制御を用いた近似スキームを構築し、点時遅れモデルを扱えるようにした。
• 任意のε > 0に対して、元の問題の点時遅れに対してε-最適フィードバック戦略を、近似問題の系列を用いて構成できた。
• 元の問題の値関数が近似値関数の極限として得られることを示し、戦略系列の収束を確認した。
• 近似問題族に適用した場合、フィードバック戦略が元の問題に対して3ε-最適であることを証明した。ε → 0のとき、値関数の収束が成立する。