[논문 리뷰] Stochastic maximum principle for infinite dimensional control systems

Kai Du, Qingxin Meng|arXiv (Cornell University)|2012. 08. 02.

Stochastic processes and financial applications참고 문헌 13인용 수 7

한 줄 요약

이 논문은 비볼록 제어 도메인과 제어에 의존하는 확산 항을 갖는 무한차원 제어된 확률적 진화 시스템에 대한 스토하스틱 최대원리(SMP)를 수립한다. 연산자 값을 갖는 역방향 확률미분방정식(스토하스틱 미분방정식, BSDE)에 대한 일반화된 해 개념을 도입함으로써, 두 번째 차수의 양의 수반 과정의 존재성과 유일성을 증명함으로써, 최소한의 정규성 가정 하에 완전한 SMP 설정을 가능하게 한다.

ABSTRACT

The general maximum principle is proved for an infinite dimensional controlled stochastic evolution system. The control is allowed to take values in a nonconvex set and enter into both drift and diffusion terms. The operator-valued backward stochastic differential equation, which characterizes the second-order adjoint process, is understood via the concept of "generalized solution" proposed by Guatteri and Tessitore [SICON 44 (2006)].

연구 동기 및 목표

• 제어가 드리프트 및 확산 항 모두에 영향을 주는 무한차원 확률적 제어 시스템에 대해 일반적인 스토하스틱 최대원리(SMP)를 수립하는 것.
• 제어 집합이 비볼록이고 확산 항이 제어에 의존할 경우 무한차원에서 완전한 SMP가 부족한 문제를 다루는 것.
• 두 번째 차수의 수반 과정을 특징짓는 연산자 값을 갖는 역방향 확률미분방정식(BSDE)을 체계적으로 해결하기 위한 엄밀한 프레임워크를 개발하는 것.
• Peng의 두 번째 차수 변분 방법을 일반화된 BSDE 해를 사용하여 무한차원 설정으로 확장하는 것.
• 최적 제어의 필요 최적성 조건을 해밀토니안과 두 번째 차수 수반 변수를 포함한 식으로 표현하는 것.

제안 방법

• 비선형 선형 확률적 진화 방정식(SEE)에 의해 지배되는 최적 제어 문제를 힐버트 공간에서 설정하며, 제어는 비볼록 집합에 속한다.
• 비용 기능에 스피크 변량을 적용하여 상태 및 비용의 일차 및 이차 변량을 포함하는 이차 전개를 이끌어낸다.
• Guatteri와 Tessitore(2006)의 접근을 따르며, $ B(H) $-값을 갖는 역방향 확률미분방정식(BSDE)에 대한 '일반화된 해' 개념을 도입하여 두 번째 차수의 수반 과정을 특징짓는다.
• 계수의 전역 프레셰 미분 가능성과 유계성 가정 하에 일반화된 해의 존재성과 유일성을 확립한다.
• 쌍대성 분석과 변형된 상태 과정 $ y^ au $ 를 포함한 극한 근사 방법을 사용하여 이차 변량과 일반화된 해 $ P(t) $ 를 연결한다.
• 리만 적분 정리와 컴팩턴스 추론을 적용하여 변량 부등식에서 극한을 취함으로써 최종 SMP를 도출한다.

실험 결과

연구 질문

• RQ1 제어 도메인이 비볼록이고 확산 항이 제어에 의존할 경우, 무한차원 시스템에 대해 일반적인 스토하스틱 최대원리를 수립할 수 있는가?
• RQ2 연산자 값을 갖는 역방향 확률미분방정식(BSDE)의 맥락에서 두 번째 차수의 수반 과정을 엄밀하게 정의하고 해결할 수 있는가?
• RQ3 일반화된 해 개념이 두 번째 차수 수반 BSDE의 완전한 해 구조 부족 문제를 어떻게 극복하는가?
• RQ4 두 번째 차수 변분 분석은 어떻게 무한차원 설정에서 필요 최적성 조건을 이끌어내는가?
• RQ5 최적 제어에 대해 해밀토니안 기반의 변량 부등식이 거의 확실히 성립하는 조건은 무엇인가?

주요 결과

• 논문은 두 번째 차수 수반 과정을 특징짓는 연산자 값을 갖는 역방향 확률미분방정식(BSDE)에 대한 일반화된 해의 존재성과 유일성을 증명한다.
• 일반화된 해 프레임워크를 통해 비볼록 제어 도메인과 제어에 의존하는 확산 항을 갖는 무한차원 시스템에 대한 완전한 스토하스틱 최대원리의 유도가 가능해진다.
• 필요 최적성 조건은 해밀토니안과 일반화된 해 $ P(\tau) $ 를 포함한 변량 부등식으로 표현되며, 거의 모든 $ \tau \neq 0 $ 에 대해 유효하다.
• 비용 기능의 이차 변량이 $ \frac{1}{2} \mathbb{E} \langle g^\Delta(\tau), P(\tau) g^\Delta(\tau) \rangle_{l^2(H)} $ 를 포함하는 극한으로 수렴함을 보이며, 이는 곡률 효과를 포착한다.
• 증명은 핵심 보조정리에 기반하며, 이는 스케일 조정된 일차 변량 $ \varepsilon^{-1/2} x_1(t) $ 가 변형된 선형화된 방정식을 만족하는 과정 $ y^\varepsilon(t) $ 에 $ L^4 $ 수렴한다는 것을 보여준다.
• 최종 최적성 조건은 극한 근사와 리만 적분 정리에 의해 도출되며, $ [0,1) $ 에 거의 확실히 부등식이 성립함을 보장한다.