[論文レビュー] Stochastic maximum principle for equations with delay: the non-convex case

Giuseppina Guatteri, Federica Masiero|arXiv (Cornell University)|May 21, 2018

Stochastic processes and financial applications被引用数 5

ひとこと要約

本稿は、状態に局所的遅れと制御に依存するノイズを有する方程式の最適制御に対して、制御集合が非凸であっても、確率的最適性原理を確立する。制御集合が非凸である場合の一般化されたポントレヤーギン原理への拡張として、1次および2次の随伴後向き確率微分方程式（BSDE）を導入し、必要最適性条件を導出する。

ABSTRACT

In this paper we develop necessary conditions for optimality, in the form of the stochastic Pontryagin maximum principle, for controlled equations with pointwise delay in the state and with control dependent noise, in the general case of controls $u \in U$ with $U$ not necessarily convex. The maximum principle is formulated by means of first and second order adjoint BSDEs. We also outline how to deal with control problems with pointwise delay both in the state and in the control.

研究の動機と目的

• 状態に局所的遅れを有する制御された確率微分方程式に対する確率的ポントレヤーギン最適性原理を拡張すること。
• 古典的最適性条件の適用範囲を制限する、制御集合Uが凸でない場合に対処すること。
• 1次および2次随伴後向き確率微分方程式（BSDE）を用いて、必要最適性条件を定式化すること。
• 状態と制御変数の両方に遅れを含める枠組みを一般化すること。

提案手法

• 状態に局所的遅れと制御に依存する拡散係数を有する確率的システムの最適制御問題を定式化する。
• 状態の摂動に対するコスト関数の感度を捉えるために、1次随伴BSDEを導入する。
• 2次変動と非凸制御制約を考慮するため、2次随伴BSDEを導出する。
• 非凸の場合の最適性に対する必要条件を導出するために、確率的最適性原理フレームワークを適用する。
• 状態と制御の両方に遅れが存在する場合に対応するため、随伴系の構造を適切に拡張する。
• 変分法と双対性の議論を用いて、制御集合に凸性が欠如する状況下でも最適性条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 制御集合が非凸である場合に、状態に局所的遅れを有する確率的制御系に対して、必要最適性条件をどのように導出できるか。
• RQ2 非凸制御制約下での最適制御を特徴付けるために、2次随伴BSDEが果たす役割は何か。
• RQ3 状態と制御変数の両方に遅れ効果が存在する場合、随伴方程式および最適性原理の構造にどのような影響を与えるか。
• RQ4 遅れ付きシステムにおいて、非凸制御集合にまで拡張可能な確率的最適性原理は構築可能か。
• RQ5 状態と制御の両方に遅れが現れる場合、随伴系にどのような修正を加える必要があり、必要最適性条件を維持できるか。

主な発見

• 本稿は、制御集合が非凸であっても、状態に局所的遅れと制御に依存するノイズを有する制御された確率微分方程式に対して、確率的最適性原理を確立する。
• 1次および2次随伴後向き確率微分方程式（BSDE）が、必要最適性条件を導出するための中心的ツールとして導入される。
• 制御集合の凸性を要件としない最適性原理が提示され、非凸制御問題への適用範囲が拡大される。
• 状態と制御変数の両方に遅れを含める枠組みが拡張され、このようなシステムに対する統一的なアプローチが提供される。
• 導出された最適性条件は必要条件であり、随伴過程の言及で表現されており、候補となる最適制御の検証が可能になる。