[논문 리뷰] Dynamic programming for optimal control of stochastic McKean-Vlasov dynamics

Huyên Pham, Xiaoli Wei|arXiv (Cornell University)|2016. 04. 14.

Stochastic processes and financial applications참고 문헌 15인용 수 19

한 줄 요약

이 논문은 공통 노이즈가 있는 확률적 McKean-Vlasov 방정식의 최적 제어를 위한 동적 프rogramming 원리를 수립하며, Lions의 측도 기반 미분법을 통해 해밀턴-자코비-벨리만(HJB) 방정식을 유도하고, 점성 해의 유일성도 증명한다. 선형-제곱형 제어 문제를 명시적으로 해결하고, 공통 노이즈가 있는 은행 간 대출 시스템 리스크 모델에 적용한다.

ABSTRACT

We study the optimal control of general stochastic McKean-Vlasov equation. Such problem is motivated originally from the asymptotic formulation of cooperative equilibrium for a large population of particles (players) in mean-field interaction under common noise. Our first main result is to state a dynamic programming principle for the value function in the Wasserstein space of probability measures, which is proved from a flow property of the conditional law of the controlled state process. Next, by relying on the notion of differentiability with respect to probability measures due to P.L. Lions [32], and It{ô}'s formula along a flow of conditional measures, we derive the dynamic programming Hamilton-Jacobi-Bellman equation, and prove the viscosity property together with a uniqueness result for the value function. Finally, we solve explicitly the linear-quadratic stochastic McKean-Vlasov control problem and give an application to an interbank systemic risk model with common noise.

연구 동기 및 목표

• 공통 노이즈 하에서의 확률적 McKean-Vlasov 동역학 최적 제어를 위한 동적 프로그래밍 프레임워크를 개발하는 것.
• 조건부 확률 측도의 흐름 성질을 이용하여 워샤르슈타인 공간에서의 동적 프로그래밍 원리를 수립하는 것.
• Lions의 미분법과 조건부 측도 위의 이토의 공식을 활용하여 HJB 방정식의 점성 해 성질과 가치 함수의 유일성을 증명하는 것.
• 선형-제곱형(LQ) 확률적 McKean-Vlasov 제어 문제를 명시적으로 해결하는 것.
• 이론적 결과를 공통 노이즈가 있는 은행 간 대출에서의 체계적 리스크 모델에 적용하는 것.

제안 방법

• 제어된 상태 과정의 조건부 확률 측도의 흐름 성질을 이용하여 워샤르슈타인 공간에서의 동적 프로그래밍 원리를 도출하는 것.
• 상태 과정의 법칙에 대한 의존성을 다루기 위해 Lions의 확률 측도에 대한 미분 개념을 적용하는 것.
• 조건부 측도의 흐름 沿해 이토의 공식을 적용하여 해밀턴-자코비-벨리만(HJB) 방정식을 도출하는 것.
• 값 함수가 유도된 HJB 방정식의 점성 해임을 증명하고, 그 유일성을 확립하는 것.
• 계수에 대한 리카티 방정식 시스템을 유도함으로써 선형-제곱형(LQ) 확률적 McKean-Vlasov 제어 문제를 명시적으로 해결하는 것.
• 리카티 시스템의 해를 이용하여 최적 제어와 상태 과정의 조건부 평균에 대한 명시적 피드백 형태를 유도하는 것.

실험 결과

연구 질문

• RQ1 워샤르슈타인 공간에서의 확률적 McKean-Vlasov 동역학 최적 제어를 위한 동적 프로그래밍 원리는 어떻게 수립할 수 있는가?
• RQ2 이러한 제어 문제에 대한 해밀턴-자코비-벨리만(HJB) 방정식의 구조는 어떻게 되며, 그 점성 해 성질은 어떻게 증명할 수 있는가?
• RQ3 이러한 확률적 제어 문제의 클래스에서 가치 함수가 유일해지는 조건은 무엇인가?
• RQ4 공통 노이즈가 있는 선형-제곱형(LQ) 확률적 McKean-Vlasov 제어 문제의 명시적 해는 무엇인가?
• RQ5 이론적 프레임워크는 공통 노이즈가 있는 은행 간 대출에서의 체계적 리스크 모델에 어떻게 적용될 수 있는가?

주요 결과

• 제어된 상태 과정의 조건부 확률 측도의 흐름 성질을 이용하여 워샤르슈타인 공간에서의 동적 프로그래밍 원리가 엄밀히 수립되었다.
• 유도된 해밀턴-자코비-벨리만(HJB) 방정식의 가치 함수가 점성 해로서의 유일성이 증명되었다.
• 선형-제곱형 문제의 경우 조건 $ q^2 \leq \eta $ 하에서 리카티 시스템 (5.16)이 명시적으로 해를 구하였으며, 이로 인해 $ \Lambda(t) $ 는 양수이며, $ \Gamma(t), \gamma(t), \chi(t) $ 에 대한 해의 존재성과 유일성이 보장된다.
• 최적 제어는 피드백 형태로 $ \alpha_t^*(X_t^*) = -(2\Lambda(t)+q)(X_t^* - \mathbb{E}[X_t^*|W^0]) - 2\Gamma(t)\mathbb{E}[X_t^*|W^0] - \gamma(t) $ 로 주어지며, 시간에 따라 변화하는 명시적 계수를 갖는다.
• 조건부 평균 $ \bar{X}_t^* = \mathbb{E}[X_t^*|W^0] $ 은 확률 미분 방정식 $ d\bar{X}_t^* = -(2\Gamma(t)\bar{X}_t^* + \gamma(t))dt + (\sigma_1\bar{X}_t^* + \sigma_0)\rho dW_t^0 $ 를 만족하며, $ \sigma_1 = 0 $ 일 때는 $ \bar{X}_t^* = x_0 + \sigma_0\rho W_t^0 $ 으로 간소화된다.
• 해는 $ N $ 이 매우 클 때의 극한에서 [18]의 결과를 복원하고 일반화하며, 공통 노이즈 하에서 기존의 은행 간 체계적 리스크 모델과의 일致성을 확인한다.