[論文レビュー] Pointwise second-order necessary conditions for stochastic optimal controls, Part II: The general case

Haisen Zhang, Xu Zhang|arXiv (Cornell University)|Sep 26, 2015

Optimization and Variational Analysis参考文献 18被引用数 5

ひとこと要約

本稿は、制御領域が非凸であり、制御がドリフト項と拡散項の両方に作用する一般の場合において、確率的最適制御の点ごとの2次必要条件を確立する。4つの変分方程式と4つの随伴方程式を導入することで、ポントレヤーギンの意味における2次最大原理を導出し、古典的理論を非凸な設定に拡張し、ハミルトニアン構造における完全な2次情報を持つものとなる。

ABSTRACT

This paper is the second part of our series of work to establish pointwise second-order necessary conditions for stochastic optimal controls. In this part, we consider the general cases, i.e., the control region is allowed to be nonconvex, and the control variable enters into both the drift and the diffusion terms of the control systems. By introducing four variational equations and four adjoint equations, we obtain the desired necessary conditions for stochastic singular optimal controls in the sense of Pontryagin-type maximum principle.

研究の動機と目的

• 制御領域が凸でない場合にまで、確率的最適制御の2次必要条件を拡張すること。
• 確率的微分方程式におけるドリフト項と拡散項の両方に制御変数が影響を与える場合を扱うこと。
• 特異最適制御に対して、ポントレヤーギンの意味における点ごとの2次最大原理を導出すること。
• 1次条件の退化を伴う状況において2次効果を捉えるために、複数の変分および随伴方程式を用いたフレームワークを構築すること。

提案手法

• 状態と制御における摂動をモデル化するための4つの変分方程式を導入し、1次および2次効果を捉える。
• 変分過程に関連する4つの随伴方程式を定義し、双対性を用いて必要条件を導出する。
• ニードル変化技術を用いて、制御集合が非凸であっても制御空間における許容可能な摂動を生成する。
• 伊藤の公式と4次までのテイラー展開を用いて、摂動下でのコスト関数の変化を分析する。
• コスト変化における2次項の極限を分析することで、ハミルトニアンのヘッセ行列を含む点ごとの2次条件を導出する。
• ハミルトニアンの2次微分と変分状態を含む非負の二次形式の形で、必要条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 制御領域が非凸である場合に、確率的最適制御の2次必要条件をどのように導出できるか。
• RQ2 制御に依存する拡散項が存在する状況におけるコスト関数の2次変化の構造は何か。
• RQ3 退化状態において、ポントレヤーギン型最大原理を2次情報まで含む形にどのように強化できるか。
• RQ4 複数の随伴および変分方程式が、確率的制御における2次効果を捉える上で果たす役割は何か。

主な発見

• 本稿は、制御集合が非凸であっても成立する一般の場合における確率的最適制御の点ごとの2次必要条件を確立した。
• 2次条件は、最適軌道に沿って評価されたハミルトニアンの2次微分と変分状態を含む非負の二次形式として表現される。
• 1次条件が非退化である場合には、条件は1次のポントレヤーギン原理に退化し、既存の理論と整合性を保つ。
• 導出は、4つの変分方程式と4つの随伴方程式からなる新規な体系に依存しており、コスト変化における2次効果を正確に追跡可能である。
• 主な結果は、すべての許容可能なニードル変化に対してコスト関数の2次変化が非負であることであり、ハミルトニアンのヘッセ行列を含む二次不等式としての必要条件が得られることである。