[論文レビュー] A general stochastic maximum principle for optimal control problems of forward-backward systems

Seïd Bahlali|ArXiv.org|Jan 28, 2008

Stochastic processes and financial applications参考文献 35被引用数 3

ひとこと要約

本稿は、非凸な制御領域と制御依存性拡散係数を有する前向き・後向き確率微分方程式（FBSDE）の最適制御に対する一般化された確率的最適性原理を確立する。従来、未解決のオープンな問題であった。緩和制御（測度値をとる過程）を導入し、スパイク変動の代わりに凸変動法を用いることで、緩和的および厳密な制御問題の両方に対する、グローバルな必要および十分な最適性条件を導出。古典的な確率的最適性原理を非凸設定へ拡張する。

ABSTRACT

Stochastic maximum principle of nonlinear controlled forward-backward systems, where the set of strict (classical) controls need not be convex and the diffusion coefficient depends explicitly on the variable control, is an open problem impossible to solve by the classical method of spike variation. In this paper, we introduce a new approach to solve this open problem and we establish necessary as well as sufficient conditions of optimality, in the form of global stochastic maximum principle, for two models. The first concerns the relaxed controls, who are a measure-valued processes. The second is a restriction of the first to strict control problems.

研究の動機と目的

• 制御領域が非凸であり、拡散係数が制御に直接依存する場合の前向き・後向き確率的制御系の最適制御問題を解決する。
• この非凸的かつ制御依存性拡散係数の設定において、古典的手法（スパイク変動法）が失敗する理由を克服する。
• 緩和制御（確率測度値をとる過程）を用いた新しい枠組みを構築し、凸性を回復させ、凸変動技術の適用を可能にする。
• 緩和的および厳密な制御問題の両方に対して、グローバルな確率的最適性原理の形で必要および十分な最適性条件を導出する。
• 緩和制御と厳密制御の問題の間の橋渡しをし、緩和制御の最適性条件から厳密制御の条件を導出する。

提案手法

• 制御集合 U 上の時刻に依存する確率測度として、緩和制御の新クラスを定義し、U 値をとる厳密制御に置き換える。
• 確率測度の空間における安定収束の位相を用いて緩和制御空間を定義し、より豊かな凸構造を保証する。
• スパイク変動の代わりに緩和制御に対して凸変動法を適用し、必要最適性条件の導出を可能にする。
• 緩和ハミルトニアンと随伴方程式を定義し、随伴過程（k, p, P）の後向きSDEの系を含む。
• 緩和ハミルトニアン不等式を用いて必要最適性条件を導出：すべての q_t ∈ P(U) に対して、P-ほとんど確実に H̃(t, x, y, z, μ_t, k, p, P) ≤ H̃(t, x, y, z, q_t, k, p, P) が成り立つ。
• 緩和制御をデルタ測度に制限することで、厳密制御の最適性条件を回復させ、δ写像を介して緩和的および厳密な定式化を結びつける。

実験結果

リサーチクエスチョン

• RQ1 制御領域が非凸であり、拡散係数が制御に依存する場合に、前向き・後向き系に対して確率的最適性原理を確立できるか？
• RQ2 なぜ古典的手法（スパイク変動法）は、この非凸的かつ制御依存性拡散係数の設定で失敗するのか？
• RQ3 緩和制御空間の凸性が、古典的手法が失敗する状況でも、必要および十分な最適性条件の導出を可能にするか？
• RQ4 どのようにして、緩和制御の最適性条件から厳密制御の最適性条件を導出できるか？
• RQ5 緩和ハミルトニアンおよび随伴方程式は、この一般化された設定における最適制御を特徴付ける上で果たす役割は何か？

主な発見

• 非凸な制御領域と制御依存性拡散係数を有する前向き・後向き系に対して、一般化された確率的最適性原理が確立され、長年の未解決問題が解決された。
• 緩和制御の必要最適性条件は、すべての q_t ∈ P(U) に対して、P-ほとんど確実に H̃(t, x, y, z, μ_t, k, p, P) ≤ H̃(t, x, y, z, q_t, k, p, P) が成り立つ不等式として与えられる。
• 厳密制御の必要最適性条件は、すべての v_t ∈ U に対して、P-ほとんど確実に H(t, x^u, y^u, z^u, u_t, k^u, p^u, P^u) ≤ H(t, x^u, y^u, z^u, v_t, k^u, p^u, P^u) が成り立つ形で与えられる。
• 厳密制御の十分最適性条件は、g, h およびハミルトニアン H が (x,y,z) に関して凸である場合に導出され、U や H が v に関して凸である必要はない。
• 最適な厳密制御 u が、条件 (53) を満たすならば、J を U 上で最小化することを示し、δ(U) 上での緩和コストの最小化と結びつける。
• 緩和制御の凸構造を活用することで、古典的な確率的最適性原理が非凸設定へ成功裏に一般化された。