[論文レビュー] Stochastic maximum principle for infinite dimensional control systems

Kai Du, Qingxin Meng|arXiv (Cornell University)|Aug 2, 2012

Stochastic processes and financial applications参考文献 13被引用数 7

ひとこと要約

本稿は、非凸な制御領域と制御に依存する拡散項を有する無限次元制御確率過程系における確率的最適化原理（SMP）を確立する。作用素値後向き確率微分方程式（BSDE）の一般化された解の概念を導入することにより、2階随伴過程の存在および一意性を証明し、最小限の正則性仮定のもとで完全なSMPの定式化を可能にする。

ABSTRACT

The general maximum principle is proved for an infinite dimensional controlled stochastic evolution system. The control is allowed to take values in a nonconvex set and enter into both drift and diffusion terms. The operator-valued backward stochastic differential equation, which characterizes the second-order adjoint process, is understood via the concept of "generalized solution" proposed by Guatteri and Tessitore [SICON 44 (2006)].

研究の動機と目的

• 制御が漂移項および拡散項の両方に影響する無限次元確率的制御系における一般的な確率的最適化原理（SMP）を確立すること。
• 制御集合が非凸であり、かつ拡散項が制御に依存する場合に、無限次元において完全なSMPが欠如している問題を解決すること。
• 2階随伴過程を特徴付ける作用素値後向き確率微分方程式（BSDE）を解くための厳密なフレームワークを構築すること。
• Pengの2階変分法を、一般化されたBSDEの解を用いて無限次元設定に拡張すること。
• 最適制御の必要条件をハミルトニアンおよび2階随伴変数を含む形で、必要条件としての不等式として確立すること。

提案手法

• ヒルベルト空間における半線形確率的発展方程式（SEE）に従う最適制御問題を定式化し、制御が非凸集合に属するものとする。
• コスト関数に対してスパイク変化を適用し、状態およびコストの1階および2階変化を含む2階展開が得られる。
• 作用素値後向き確率微分方程式（BSDE）に対する「一般化された解」の概念を導入し、2階随伴過程を特徴付ける。これはGuatteriとTessitore（2006）に従う。
• 係数の局所フレシェ微分可能性および有界性仮定のもとで、一般化された解の存在および一意性を確立する。
• 双対性解析および摂動状態過程 $ y^ au $ を用いた極限議論により、2階変化と一般化された解 $ P(t) $ を関連付ける。
• リーマン微分定理およびコンパクトネスの議論を用いて、変分不等式における極限を取ることで、最終的なSMPが得られる。

実験結果

リサーチクエスチョン

• RQ1 制御領域が非凸であり、かつ拡散項が制御に依存する場合に、無限次元系において一般的な確率的最適化原理を確立できるか？
• RQ2 作用素値後向き確率微分方程式の文脈において、2階随伴過程を厳密に定義し、解く方法は何か？
• RQ3 一般化された解の概念が、2階随伴BSDEに対して完全な解構造が欠如している問題をどのように克服するか？
• RQ4 2階変分解析は、無限次元設定においてどのように必要条件を導くか？
• RQ5 ハミルトニアンに基づく変分不等式は、最適制御においてほとんど確実に成立するための条件は何か？

主な発見

• 本稿では、2階随伴過程を特徴付ける作用素値後向き確率微分方程式に対する一般化された解の存在および一意性が証明される。
• 一般化された解の枠組みにより、非凸制御領域および制御に依存する拡散項を有する無限次元系に対する完全な確率的最適化原理が導出可能となる。
• 必要条件は、ハミルトニアンおよび一般化された解 $ P(\tau) $ を含む変分不等式として確立され、ほとんど至るところの $ \tau \neq 0 $ で有効である。
• コスト関数の2階変化が、$ \frac{1}{2} \mathbb{E} \langle g^\Delta(\tau), P(\tau) g^\Delta(\tau) \rangle_{l^2(H)} $ を含む極限に収束することが示され、これが曲率効果を捉える。
• 証明は、スケーリングされた1階変化 $ \varepsilon^{-1/2} x_1(t) $ が、摂動線形化方程式を満たす過程 $ y^\varepsilon(t) $ に $ L^4 $ で収束することを示す重要な補題に依存する。
• 最終的な最適性条件は、極限議論およびリーマン微分定理を用いて導出され、$ [0,1) $ でほとんど確実に不等式が成立することが保証される。