[논문 리뷰] A Linear-Quadratic Optimal Control Problem for Mean-Field Stochastic Differential Equations

Jiongmin Yong|arXiv (Cornell University)|2011. 10. 07.

Stochastic processes and financial applications인용 수 15

한 줄 요약

이 논문은 결정론적 계수를 가진 평균장 확률미분방정식에 대한 선형-제곱 최적 제어 문제를 다룬다. 변분 방법과 분리 기법을 사용하여, 두 개의 유일하게 해를 갖는 리카티 미분방정식을 통해 최적 제어의 피드백 표현을 유도하며, 상태와 그 기댓값을 모두 포함하는 상태 피드백 해를 확립한다.

ABSTRACT

A Linear-quadratic optimal control problem is considered for mean-field stochastic differential equations with deterministic coefficients. By a variational method, the optimality system is derived, which turns out to be a linear mean-field forward-backward stochastic differential equation. Using a decoupling technique, two Riccati differential equations are obtained, which are uniquely solvable under certain conditions. Then a feedback representation is obtained for the optimal control.

연구 동기 및 목표

• 결정론적 계수를 가진 평균장 확률미분방정식(MF-SDEs)의 최적 제어를 다루는 것.
• 평균장 프레임워크 내에서 선형-제곱(LQ) 제어 문제에 대한 필요 및 충분한 최적성 조건을 유도하는 것.
• 리카티 방정식의 해를 이용한 최적 제어의 피드백 표현을 수립하는 것.
• 전통적인 LQ 제어 이론을 상태 및 제어의 기댓값을 동적 방정식과 비용 함수에 포함시킴으로써 확장하는 것.

제안 방법

• 최적성 시스템을 도출하기 위해 변분 방법을 적용하여 선형 평균장 정방향-역방향 확률미분방정식(MF-FBSDE)을 도출한다.
• MF-FBSDE를 두 개의 리카티 미분방정식으로 감소시키기 위해 분리 기법을 활용한다.
• 해의 유일성과 정규성을 보장하는 조건 하에서 리카티 방정식을 해결한다.
• 상태 과정과 그 기댓값에 대해 최적 제어의 피드백 표현을 유도한다.
• 이토의 공식과 기댓값 기반 동역학을 사용하여 SDE와 비용 함수의 평균장 항을 다룬다.
• 엄밀한 확률적 분석을 통해 최적성 시스템과 리카티 방정식 간의 동치성을 확립한다.

실험 결과

연구 질문

• RQ1 결정론적 계수를 가진 평균장 SDE에 의해 구동되는 선형-제곱 문제에 대한 최적 제어는 어떻게 특징지을 수 있는가?
• RQ2 평균장 맥락에서 관련된 리카티 방정식의 유일성과 해가 존재하는 조건은 무엇인가?
• RQ3 최적 제어의 피드백 표현을 상태와 그 기댓값에 모두 의존하도록 유도할 수 있는가?
• RQ4 동적 방정식과 비용 함수에 상태 및 제어의 기댓값을 포함시키는 것이 최적 제어의 구조에 어떤 영향을 미치는가?
• RQ5 분리 기법은 최적성 시스템을 해를 갖는 리카티 방정식으로 변환하는 데 어떤 역할을 하는가?

주요 결과

• LQ 문제의 최적성 시스템은 선형 평균장 정방향-역방향 확률미분방정식으로 도출된다.
• 분리 기법을 통해 두 개의 리카티 미분방정식을 도출하였으며, 적절한 조건 하에서 그 해가 유일하게 존재함을 입증하였다.
• 최적 제어는 현재 상태 $X(s)$와 그 기댓값 $\mathbb{E}[X(s)]$에 모두 의존하는 피드백 표현을 갖는다.
• 리카티 방정식의 해는 피드백 제어 법칙의 계수를 제공하며, 최적 제어의 명시적 계산을 가능하게 한다.
• 피드백 형태는 최적 제어가 필터링에 적응되고 상태 및 그 기댓값에 대해 가측함을 보장한다.
• 결과적으로 전통적인 LQ 제어 이론을 평균장 설정으로 일반화하였으며, 기댓값을 통한 체계적 영향을 반영하였다.