[논문 리뷰] Generalized McKean-Vlasov (Mean Field) Control: a stochastic maximum principle and a transport perspective

Beatrice Acciaio, Julio Backhoff‐Veraguas외 1명|arXiv (Cornell University)|2018. 02. 15.

Stochastic processes and financial applications참고 문헌 17인용 수 6

한 줄 요약

이 논문은 상태와 제어의 결합 확률분포에 따라 동역학과 비용이 의존하는 일반화된 McKean-Vlasov 제어 문제에 대한 확률적 최대원리(Stochastic Maximum Principle)를 개발한다. 문제를 경로공간 위의 최적 운반 이론과 연결하는 변분 접근법을 제안하며, 필요 조건인 마틴게일 최적성 조건을 확립하고, 평균장 제어와 최적 운반 간의 새로운 이중성(duality)을 제시한다.

ABSTRACT

We study McKean-Vlasov stochastic control problems where both the cost functions and the state dynamics depend upon the joint distribution of the controlled state and the control process. Our contribution is twofold. On the one hand, we prove a suitable version of the Pontryagin stochastic maximum principle (in necessary and in sufficient form). On the other hand, we suggest a variational approach to study a weak formulation of these difficult control problems. In this context, we derive a necessary martingale optimality condition, and we establish a new connection between such problems and an optimal transport problem on path space.

연구 동기 및 목표

• 상태 및 제어 과정의 결합 확률분포에 따라 동역학과 비용이 의존하는 McKean-Vlasov 제어 문제로 확률적 최대원리를 확장하는 것.
• 변분 접근법을 사용하여 일반화된 McKean-Vlasov 제어 문제의 약한 형태(weak formulation)를 개발하는 것.
• 일반화된 McKean-Vlasov 제어 문제와 경로공간 상의 최적 운반 문제 사이의 연결 고리를 설정하는 것.
• 약한 형태에서 필요 조건인 마틴게일 최적성 조건을 유도하는 것.
• 일반화된 설정에서 최적성에 대한 필요 조건과 충분 조건을 동시에 제공하는 것.

제안 방법

• 상태 및 제어 과정의 법칙에 대한 공동 의존성을 고려한 일반화된 McKean-Vlasov 제어 문제를 수립하는 것.
• 필요 및 충분 조건 형태로 변형된 Pontryagin의 확률적 최대원리를 적용하여 최적성 조건을 도출하는 것.
• 확률측도의 공간 위에서 변분 접근법을 사용하여 제어 문제의 약한 형태를 도입하는 것.
• 이중성과 변분법을 통해 약한 형태에서 필요 조건인 마틴게일 최적성 조건을 유도하는 것.
• Wasserstein 유형의 기울기(Wasserstein-type gradients)를 활용하여 제어 문제와 경로공간 상의 최적 운반 문제 사이에 새로운 연결 고리를 설정하는 것.
• 운반 시각적 관점에서 최적성 조건을 재해석하고 해의 구조적 통찰을 제공하는 것.

실험 결과

연구 질문

• RQ1 동역학과 비용이 상태 및 제어의 법칙에 공동으로 의존하는 경우, 확률적 최대원리를 어떻게 일반화할 수 있는가?
• RQ2 어떤 변분 프레임워크가 일반화된 McKean-Vlasov 제어 문제의 약한 형태를 가능하게 하는가?
• RQ3 이러한 문제의 약한 형태에서 마틴게일 최적성 조건이 수행하는 역할은 무엇인가?
• RQ4 최적 제어의 구조는 경로공간 상의 최적 운반과 어떻게 관련되어 있는가?
• RQ5 이러한 일반화된 설정에서 평균장 제어와 최적 운반 간의 이중성이 엄밀하게 확립될 수 있는가?

주요 결과

• 상태-제어의 공동 의존성을 고려한 McKean-Vlasov 제어 문제에 대해 필요 및 충분 조건 형태의 일반화된 확률적 최대원리가 도출되었다.
• 변분 기법을 활용할 수 있도록 확률측도 공간에서의 약한 형태의 문제 설정이 도입되었다.
• 약한 형태에서 필요 조건인 마틴게일 최적성 조건이 확립되어 검증을 위한 핵심 분석 도구가 제공되었다.
• 일반화된 McKean-Vlasov 제어 문제와 경로공간 상의 최적 운반 문제 사이에 새로운 연결 고리가 드러났다.
• 운반 시각적 관점은 최적성 조건에 대해 새로운 기하학적 해석을 제공하며, 평균장 제어를 Wasserstein 기울기 흐름과 연결한다.
• 결과적으로, 확률적 최대원리의 적용 범위가 더 풍부한 의존성 구조를 가진 평균장 제어 문제의 더 넓은 클래스로 확장되었다.