[論文レビュー] Second Order Optimality Conditions for Optimal Control Problems of Stochastic Evolution Equations

Qi Lü, Haisen Zhang+1 more|arXiv (Cornell University)|Nov 18, 2018

Stochastic processes and financial applications参考文献 43被引用数 3

ひとこと要約

この論文は、ドリフトと拡散の両方に制御が影響する無限次元確率的発展方程式に従う確率的最適制御問題について、2次最適性条件を確立する。演算子値の後向き確率的発展方程式（BSEE）に対して、緩和解およびV-変換解を導入することで、必要・十分な2次最適性条件を導出し、1次最適性原理（Pontryagin型）に存在しない補正項が2次随伴方程式において果たす重要な役割を強調する。

ABSTRACT

In this paper, we establish some second order necessary/sufficient optimality conditions for optimal control problems of stochastic evolution equations in infinite dimensions. The control acts on both the drift and diffusion terms and the control region is convex. The concepts of relaxed and $V$-transposition solutions (introduced in our previous works) to operator-valued backward stochastic evolution equations are employed to derive these optimality conditions. The correction part of the second order adjoint equation, which does not appear in the (first order) Pontryagin-type stochastic maximum principle, plays a fundamental role in our second order optimality conditions.

研究の動機と目的

• 無限次元ヒルベルト空間における確率的最適制御問題の2次必要・十分最適性条件を構築すること。
• 制御に依存する拡散項とドリフト項を有する確率的発展方程式における2次解析のギャップを埋めること。
• 1次最適性原理に現れない、2次随伴方程式に現れる補正項を組み込むこと。
• 2次解析を目的として、演算子値の後向き確率的発展方程式に対する変換解理論を拡張すること。
• コスト汎関数の2次変分を含む2次関数型条件を用いて、グローバル最適性を確立すること。

提案手法

• 演算子値の後向き確率的発展方程式（BSEE）を扱うために、緩和解およびV-変換解を用いる。
• ハミルトニアンの2次変分に起因する補正項を有する2次随伴方程式（6.9）を導入する。
• 伊藤の公式を用いてコストの差を2次変分に関連させ、制御摂動に関する2次関数型を得る。
• アドミッサブルな制御空間 $L^2_{\mathbb{F}}(0,T;H_1)$ 上で定義される2次関数型 $\tilde{\Lambda}(\delta u)$ を導入し、2次十分条件を特徴付ける。
• 2次十分条件 $\tilde{\Lambda}(\delta u) \leq -\varrho\|\delta u\|^2$ と、$\Gamma^*R\Gamma + \Gamma^*M + N$ を含む2次形式の正定性の同値性を確立する。
• 1次条件 $\mathbb{E}\int_0^T \langle \mathbb{H}_u(t), u(t) - \bar{u}(t) \rangle_{H_1} dt \leq 0$ が成り立ち、かつ2次条件が満たされるならば、制御がグローバルに最適であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 制御に依存する拡散項を有する無限次元空間における確率的制御問題の必要・十分な2次最適性条件は何か？
• RQ2 1次Pontryagin原理とは異なり、2次随伴方程式に現れる補正項は、2次最適性解析にどのように影響を与えるか？
• RQ3 2次十分条件は、許容制御空間上の2次関数型として定式化可能か？
• RQ4 2次条件が制御ペアのグローバル最適性を保証するための条件は何か？
• RQ5 緩和解およびV-変換解は、演算子値BSEEの文脈で2次条件の導出をどのように可能にするか？

主な発見

• 2次随伴方程式（6.9）は、一意なV-変換解 $(P, Q)$ を有し、これが2次条件の導出に不可欠である。
• 1次最適性原理に存在しないが、2次最適性条件において根本的な役割を果たす、2次随伴方程式の補正項が重要である。
• 2次十分条件 $\tilde{\Lambda}(\delta u) \leq -\varrho\|\delta u\|^2$ が成り立つのは、2次関数型 $F(\delta u)$ が $\Gamma^*R\Gamma + \Gamma^*M + N$ を含む特定の正定性条件を満たすときである。
• 1次条件 $\mathbb{E}\int_0^T \langle \mathbb{H}_u(t), u(t) - \bar{u}(t) \rangle_{H_1} dt \leq 0$ が成り立ち、かつ2次条件が満たされるならば、制御ペア $(\bar{x}, \bar{u})$ は一意なグローバル最小化子である。
• 2次条件は、コスト汎関数の2次変分を強制的（coercive）な2次形式によって制御することにより、グローバル最適性を保証する。
• 2次随伴方程式（6.10）の解 $P$ は決定的であり、$B_1, B_2, N$ が時間に依存しないことから、決定的演算子値発展方程式を満たす。