[논문 리뷰] Mean-Field Stochastic Linear Quadratic Optimal Control Problems: Closed-Loop Solvability

Xun Li, Jingrui Sun외 1명|arXiv (Cornell University)|2016. 02. 25.

Stochastic processes and financial applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 평균장 스토케스틱 선형 제곱(LQ) 최적 제어 문제의 닫힘 루프 가역성을 확보하기 위해, 결합된 일반화된 리카티 방정식의 가역성과 선형 역방향 확률미분방정식(BSDE)의 해에 대한 제약 조건을 통해 최적의 닫힘 루프 전략의 존재를 특성화함으로써 성립시킨다. 주요 기여는 이러한 방정식과 보조 제약 조건에 대한 정규 해가 존재하는지를 기반으로 한 닫힘 루프 가역성에 대한 필요 및 충분 조건을 제시하는 것이다.

ABSTRACT

An optimal control problem is studied for a linear mean-field stochastic differential equation with a quadratic cost functional. The coefficients and the weighting matrices in the cost functional are all assumed to be deterministic. Closed-loop strategies are introduced, which require to be independent of initial states; and such a nature makes it very useful and convenient in applications. In this paper, the existence of an optimal closed-loop strategy for the system (also called the closed-loop solvability of the problem) is characterized by the existence of a regular solution to the coupled two (generalized) Riccati equations, together with some constraints on the adapted solution to a linear backward stochastic differential equation and a linear terminal value problem of an ordinary differential equation.

연구 동기 및 목표

• 평균장 스토케스틱 선형 제곱 최적 제어 문제에서 닫힘 루프 가역성에 대한 필요 및 충분 조건을 확립하기.
• 초기 상태에 의존하지 않는 최적의 닫힘 루프 전략을 특성화하여 실제 시스템에의 적용 가능성을 높이기.
• 상태 및 제어 과정의 기대값을 통합함으로써 고전적 LQ 이론을 평균장 SDE로 확장하기.
• 정수 계수를 가진 MF-SDE 기반 LQ 문제의 가역성에 대한 근본적 과제를 해결하기.
• 금융, 리스크 관리 및 포트폴리오 최적화 분야의 응용을 위한 이론적 기반 제공하기.

제안 방법

• 초기 상태에 의존하지 않는 닫힘 루프 전략을 도입하여 실용적 구현 가능성을 확보하기.
• 닫힘 루프 가역성의 핵심 조건으로서 두 개의 결합된 일반화된 리카티 방정식(GREs)의 시스템을 도출하기.
• 선형 역방향 확률미분방정식(역방향 SDE, BSDE)의 적응 해와 종단값 ODE에 대한 제약 조건을 설정하기.
• 검증 정리를 사용하여 최적 제어가 GRE 해를 포함하는 피드백 형태로 주어진다는 것을 보여주기.
• 스토케스틱 최대 원리와 쌍대성 논리를 적용하여 최적성의 필요 조건을 유도하기.
• 닫힘 루프 가역성과 결합된 GREs의 정규 해가 존재하는 것 사이의 동치성을 확립하기.

실험 결과

연구 질문

• RQ1 평균장 스토케스틱 LQ 최적 제어 문제가 어떤 조건에서 닫힘 루프 최적 전략을 가질 수 있는가?
• RQ2 최적 제어는 어떻게 초기 상태에 무관한 피드백 형태로 표현될 수 있는가?
• RQ3 일반화된 리카티 방정식이 닫힘 루프 가역성을 보장하는 데 어떤 역할을 하는가?
• RQ4 BSDE 및 ODE 해에 대한 제약 조건이 문제의 가역성에 어떻게 영향을 미치는가?
• RQ5 닫힘 루프 가역성과 결합된 GREs의 정규 해 사이의 관계는 무엇인가?

주요 결과

• MF-LQ 문제의 닫힘 루프 가역성은 결합된 일반화된 리카티 방정식에 대한 정규 해의 존재와 동치이다.
• 최적의 닫힘 루프 전략은 GRE 해를 포함하는 피드백 법칙으로 주어지며, 이를 통해 상태 및 기대값 의존성을 보장한다.
• BSDE 및 ODE 해에 대한 보조 제약 조건은 닫힘 루프 전략의 최적성에 필수적이다.
• 정수 계수의 비드라이프 및 노이즈 항이 없는 경우, 닫힘 루프 가역성은 단지 GREs의 정규 가역성으로 축소된다.
• 가격 함수는 GRE 해와 보조 과정을 사용하여 명시적으로 표현된다.
• 증명은 비용 기능과 GRE 해를 포함하는 항등식을 통해 피드백 전략의 최적성을 보여주는 검증 추론에 기반한다.