[논문 리뷰] Forward-Backward Stochastic Differential Equations and Controlled McKean Vlasov Dynamics

René Carmona, François Delarue|arXiv (Cornell University)|2013. 03. 23.

Stochastic processes and financial applications참고 문헌 7인용 수 7

한 줄 요약

이 논문은 상태 과정의 법칙에 따라 의존하는 계수를 갖는 매킨-블라소프 유형의 전진-역행 스토크라스틱 미분 방정식(FBSDE)에 대한 최적 제어 문제에 대해 확률적 최대원리(stochastic maximum principle)를 수립한다. 해의 존재성과 유일성은 해밀토니안의 볼록성 조건 하에서 계속성 방법을 통해 증명되며, 그 결과로 도출된 제어 전략은 평균장 상호작용을 갖는 대규모 스토크라스틱 게임에서 근사 나이시 균형을 생성함을 보여준다.

ABSTRACT

The purpose of this paper is to provide a detailed probabilistic analysis of the optimal control of nonlinear stochastic dynamical systems of the McKean Vlasov type. Motivated by the recent interest in mean field games, we highlight the connection and the differences between the two sets of problems. We prove a new version of the stochastic maximum principle and give sufficient conditions for existence of an optimal control. We also provide examples for which our sufficient conditions for existence of an optimal solution are satisfied. Finally we show that our solution to the control problem provides approximate equilibria for large stochastic games with mean field interactions.

연구 동기 및 목표

• 비선형 매킨-블라소프 유형의 스토크라스틱 시스템에 특화된 최적 제어 문제를 위한 확률적 최대원리를 개발하기 위해.
• 이러한 유형의 시스템에서 최적 제어의 존재성과 유일성을 위한 충분조건을 수립하기 위해.
• 제어 문제의 해가 평균장 상호작용을 갖는 대규모 인구 스토크라스틱 게임에서의 근사 균형과 어떻게 연결되는지 밝히기 위해.
• 해의 주변 분포에 따라 계수에 의존하는 전진-역행 스토크라스틱 미분 방정식(FBSDE)의 구조를 분석하기 위해.
• 피드백 전략이 대규모 게임에서 근사 균형으로 사용될 수 있음을 정당화하는 정규성 및 혼돈 전파 성질을 증명하기 위해.

제안 방법

• 매킨-블라소프 역학에 적합하게 조정된 새로운 형태의 확률적 최대원리를 유도하며, 해밀토니안에 상태 과정의 법칙을 포함시킨다.
• 해밀토니안의 볼록성에 기반한 계속성 방법을 사용하여, 그 결과로 유도된 평균장 FBSDE의 해의 존재성과 유일성을 증명한다.
• FBSDE의 분리장(decoupling field)을 정의하고, 그에 대한 리프시츠 연속성을 증명함으로써 피드백 형태의 전략을 가능하게 한다.
• 각 에이전트가 분리장에서 유도된 피드백 전략을 사용하는 N개의 상호작용하는 SDE 시스템을 구성한다.
• 혼돈 전파 추론을 적용하여, 에이전트 상태의 경험적 측도가 매킨-블라소프 법칙으로 수렴함을 보인다.
• 제어 전략이 대규모 게임에서 근사 나이시 균형을 형성하며, 오차가 $\mathcal{O}(N^{-1/(d+4)})$ 비율로 감소함을 확립한다.

실험 결과

연구 질문

• RQ1 분포에 의존하는 계수를 갖는 매킨-블라소프 유형의 역학을 포함하는 제어 문제에 대해 확률적 최대원리를 어떻게 확장할 수 있는가?
• RQ2 기존의 유계성 가정이 실패할 경우, 이러한 시스템에서 유일한 최적 제어가 존재하는 조건은 무엇인가?
• RQ3 최적 제어 문제의 해가 평균장 상호작용을 갖는 대규모 스토크라스틱 게임에서 근사 균형을 구성하는 데 사용될 수 있는가?
• RQ4 분리장의 어떤 정규성 성질이 피드백 전략의 존재를 보장하는가?
• RQ5 경험적 분포의 수렴 속도는 무엇이며, 이는 근사 균형의 품질에 어떻게 영향을 미치는가?

주요 결과

• 해밀토니안의 볼록성과 계수의 리프시츠 연속성 조건 하에서, 매킨-블라소프 제어 시스템에 대해 새로운 확률적 최대원리가 수립되었다.
• 기존에 유계성 가정이 필요로 했던 결과를 초월하여, 계속성 방법을 통해 평균장 FBSDE의 해의 존재성과 유일성이 증명되었다.
• FBSDE의 분리장이 리프시츠 연속임을 증명하여, 피드백 형 최적 제어의 구성이 가능함을 보였다.
• 최적 제어 전략은 대규모 스토크라스틱 게임에서 근사 나이시 균형을 형성하며, 균형 오차는 $\mathcal{O}(N^{-1/(d+4)})$ 비율로 감소한다.
• 혼돈 전파 성질은 N개의 상호작용하는 에이전트의 경험적 분포가 매킨-블라소프 법칙으로 수렴함을 보장하여, 평균장 근사의 타당성을 입증한다.
• 이전 결과가 유계성 부족으로 실패하는 선형-제곱형 모델에도 이 방법이 적용 가능하여, 더 넓은 적용 가능성을 입증한다.