[논문 리뷰] Second Order Optimality Conditions for Optimal Control Problems of Stochastic Evolution Equations

Qi Lü, Haisen Zhang외 1명|arXiv (Cornell University)|2018. 11. 18.

Stochastic processes and financial applications참고 문헌 43인용 수 3

한 줄 요약

이 논문은 제어가 확산과 드리프트 양쪽에 영향을 주는 무한차원 확률적 진화 방정식에 의해 지배되는 확률적 최적제어 문제에 대해 두 번째 차수 최적성 조건을 수립한다. 작용소 값 후행 확률적 진화 방정식(BSEEs)에 대해 유연한 및 V-전치 해를 도입함으로써, 저자들은 필요 및 충분한 두 번째 차수 조건을 유도하며, 첫 번째 차수 폰트리아진 유형 원리에 존재하지 않는 보정 항이 두 번째 차수 양함수 방정식에서 중요한 역할을 한다는 점을 부각시킨다.

ABSTRACT

In this paper, we establish some second order necessary/sufficient optimality conditions for optimal control problems of stochastic evolution equations in infinite dimensions. The control acts on both the drift and diffusion terms and the control region is convex. The concepts of relaxed and $V$-transposition solutions (introduced in our previous works) to operator-valued backward stochastic evolution equations are employed to derive these optimality conditions. The correction part of the second order adjoint equation, which does not appear in the (first order) Pontryagin-type stochastic maximum principle, plays a fundamental role in our second order optimality conditions.

연구 동기 및 목표

• 무한차원 힐버트 공간에서의 확률적 최적제어 문제에 대해 두 번째 차수 필요 및 충분한 최적성 조건을 개발하는 것.
• 제어에 의존하는 확산 및 드리프트를 갖는 확률적 진화 방정식에 대한 두 번째 차수 분석의 격차를 메우는 것.
• 첫 번째 차수 최대원리에 나타나지 않는 두 번째 차수 양함수 방정식에 보정 항을 통합하는 것.
• 두 번째 차수 분석을 위해 작용소 값 후행 확률적 진화 방정식의 전치 해 이론을 확장하는 것.
• 비용 기능의 두 번째 변위를 포함하는 이차 함수 조건을 통해 전역 최적성을 확립하는 것.

제안 방법

• 작용소 값 후행 확률적 진화 방정식(BSEEs)을 다루기 위해 유연한 및 V-전치 해를 활용한다.
• 해밀토니안의 두 번째 변위에서 유래하는 보정 항을 포함한 두 번째 차수 양함수 방정식 (6.9)을 도입한다.
• 이토의 공식을 사용하여 비용 차이를 두 번째 변위와 연결함으로써 제어 편미분에 대한 이차 함수형을 도출한다.
• 허용 가능한 제어 공간인 $L^2_{\mathbb{F}}(0,T;H_1)$ 위에서 이차 함수형 $\tilde{\Lambda}(\delta u)$를 정의하여 두 번째 차수 충분 조건을 특성화한다.
• 두 번째 차수 충분 조건 $\tilde{\Lambda}(\delta u) \leq -\varrho\|\delta u\|^2$과 $\Gamma^*R\Gamma + \Gamma^*M + N$을 포함하는 이차 형식의 양성 조건 간의 동치성을 확립한다.
• 만약 첫 번째 차수 조건 $\mathbb{E}\int_0^T \langle \mathbb{H}_u(t), u(t) - \bar{u}(t) \rangle_{H_1} dt \leq 0$ 이 성립하고 두 번째 차수 조건이 만족되면, 제어는 전역적으로 최적임을 증명한다.

실험 결과

연구 질문

• RQ1 제어에 의존하는 확산을 갖는 무한차원 공간에서의 확률적 제어 문제에 대해 필요한 및 충분한 두 번째 차수 최적성 조건은 무엇인가?
• RQ2 첫 번째 차수 폰트리아진 원리와 비교할 때, 두 번째 차수 양함수 방정식의 보정 항은 두 번째 차수 최적성 분석에 어떻게 영향을 미치는가?
• RQ3 허용 가능한 제어 공간 위에서 이차 함수형으로 두 번째 차수 충분 조건을 정의할 수 있는가?
• RQ4 두 번째 차수 조건이 제어 쌍의 전역 최적성을 보장하는 조건은 무엇인가?
• RQ5 유연한 및 V-전치 해는 작용소 값 BSEEs의 맥락에서 두 번째 차수 조건을 도출하는 데 어떻게 기여하는가?

주요 결과

• 두 번째 차수 양함수 방정식 (6.9)은 고유한 V-전치 해 $(P, Q)$ 를 갖으며, 이는 두 번째 차수 조건을 도출하는 데 핵심적인 역할을 한다.
• 첫 번째 차수 최대원리에 존재하지 않는 두 번째 차수 양함수 방정식의 보정 항은 두 번째 차수 최적성 조건에서 기본적인 역할을 한다.
• 두 번째 차수 충분 조건 $\tilde{\Lambda}(\delta u) \leq -\varrho\|\delta u\|^2$ 이 성립하는 것은, $\Gamma^*R\Gamma + \Gamma^*M + N$을 포함하는 특정한 양성 조건을 만족하는 이차 함수형 $F(\delta u)$ 와 동치이다.
• 첫 번째 차수 조건 $\mathbb{E}\int_0^T \langle \mathbb{H}_u(t), u(t) - \bar{u}(t) \rangle_{H_1} dt \leq 0$ 이 성립하고 두 번째 차수 조건이 만족되면, 제어 쌍 $(\bar{x}, \bar{u})$ 는 유일한 전역 최소화자이다.
• 두 번째 차수 조건은 비용 기능의 두 번째 변위를 강제성 있는 이차 형식을 통해 통제함으로써 전역 최적성을 보장한다.
• 두 번째 차수 양함수 방정식 (6.10)의 해 $P$ 는 결정론적이며, $B_1, B_2, N$ 이 시간에 독립이므로 결정론적 작용소 값 진화 방정식을 만족한다.