[논문 리뷰] Viscosity Solutions to Parabolic Master Equations and McKean-Vlasov SDEs with Closed-loop Controls

Cong Wu, Jianfeng Zhang|arXiv (Cornell University)|2018. 05. 07.

Stochastic processes and financial applications참고 문헌 28인용 수 10

한 줄 요약

이 논문은 폐쇄형 피드백 제어를 가진 McKean-Vlasov 확률적 제어 문제에서 나타나는 포물형 마스터 방정식에 대한 새로운 점탄성 해법 프레임워크를 제안하며, 특성값이 유계인 세미martingale 측도 공간에서의 컴팩턴스를 통해 잘 정의됨을 보장한다. 주요 기여는 경로에 의존하는 기능적 Itô 공식의 확장과, 최소한의 정규성 가정 하에 존재성 및 유일성 결과를 가능하게 하는 새로운 내재적 점탄성 해법 개념이다.

ABSTRACT

The master equation is a type of PDE whose state variable involves the distribution of certain underlying state process. It is a powerful tool for studying the limit behavior of large interacting systems, including mean field games and systemic risk. It also appears naturally in stochastic control problems with partial information and in time inconsistent problems. In this paper we propose a novel notion of viscosity solution for parabolic master equations, arising mainly from control problems, and establish its wellposedness. Our main innovation is to restrict the involved measures to certain set of semimartingale measures which satisfy the desired compactness. As an important example, we study the HJB master equation associated with the control problems for McKean-Vlasov SDEs. Due to practical considerations, we consider closed-loop controls. It turns out that the regularity of the value function becomes much more involved in this framework than the counterpart in the standard control problems. Finally, we build the whole theory in the path dependent setting, which is often seen in applications. The main result in this part is an extension of Dupire \cite{Dupire}'s functional Itô formula. This Itô formula requires a special structure of the derivatives with respect to the measures, which was originally due to Lions \cite{Lions4} in the state dependent case. We provided an elementary proof for this well known result in the short note \cite{WZ}, and the same arguments work in the path dependent setting here.

연구 동기 및 목표

• McKean-Vlasov SDE와 폐쇄형 제어를 고려한 맥락에서 포물형 마스터 방정식에 대한 잘 정의된 점탄성 해법 이론을 개발하기 위해.
• Wasserstein 공간에서 국소 컴팩턴스의 부족을 극복하기 위해, 특성값이 유계인 세미martingale 측도의 컴팩트 집합에 국한된 테스트 함수를 제한함으로써.
• Lions의 접근 방식을 일반화하기 위해, 측도 미분을 포함한 경로에 의존하는 설정으로 Dupire의 기능적 Itô 공식을 확장하기 위해.
• 특히 제어 문제에서의 가치 함수에 대해 최소한의 정규성 가정 하에 점탄성 해법의 존재성 및 유일성을 확립하기 위해.
• 시간에 비례하지 않는 제어 문제와 부분 정보 제어 문제를 다룰 수 있도록, Wasserstein 공간에서 내재적 점탄성 해법을 통해 프레임워크를 제공하기 위해.

제안 방법

• 특성값이 유계인 세미martingale 측도의 컴팩트 집합 $[t,t+\delta] \times \mathcal{P}_L(t,\mu)$에 국한하여 $\varphi - V$ 의 최대/최소값을 고려함으로써 새로운 점탄성 해법 개념을 도입하기 위해.
• $\mathcal{P}_L(t,\mu)$ 의 컴팩턴스를 이용하여 비교 원리가 성립함을 보장함으로써, Wasserstein 공간에서 고전적 접근 방식의 한계를 극복하기 위해.
• 측도 미분의 특정 구조를 가진 상태에서 경로에 의존하는 설정에서 기능적 Itô 공식을 적용하기 위해, Lions가 도입한 방식을 요구함.
• 폐쇄형 제어 프레임워크에서 가치 함수 $V(t,\mu)$ 에 대해 동적 프rogramming 원리를 증명하기 위해.
• 근사 방법과 확률 측도의 결합을 통해 가치 함수의 균일 연속성과 상태에 의존하는 성질을 확립하기 위해.
• 값 함수 $V(t,\mu)$ 가 $t$ 와 $\mu$ 에 대한 의존성을 제어하기 위해 모듈러스 연속성 $\rho$ 를 사용하여, 변화에 대한 안정성을 보장하기 위해.

실험 결과

연구 질문

• RQ1 McKean-Vlasov 설정에서 폐쇄형 제어를 가진 포물형 마스터 방정식에 대해 점탄성 해법 이론을 어떻게 구성할 수 있는가?
• RQ2 측도 공간에 어떤 컴팩턴스 구조가 점탄성 해법 이론에서 비교 원리를 보장하는가?
• RQ3 Dupire의 기능적 Itô 공식은 어떻게 측도 미분을 포함한 경로에 의존하는 PDE에 대해 확장할 수 있는가?
• RQ4 폐쇄형 피드백 하에서 McKean-Vlasov 제어 문제의 가치 함수는 어떤 정규성 성질을 갖는가?
• RQ5 어떤 조건에서 가치 함수는 상태에 의존하게 되는가, 즉 $V(t,\mu) = V(t,\mu_t)$ 를 만족하는가?

주요 결과

• 제안된 점탄성 해법 개념은 특성값이 유계인 세미martingale 측도 공간에서의 컴팩턴스를 활용하여 마스터 방정식의 잘 정의됨을 보장한다.
• 값 함수 $V(t,\mu)$ 는 $(t,\mu)$ 에 대해 균일 연속적이며, 모듈러스 연속성은 Wasserstein 거리와 시간 차이에 따라 달라진다.
• 측도 미분을 포함한 경로에 의존하는 PDE에 대해 Dupire의 기능적 Itô 공식의 확장이 성립하며, Lions의 프레임워크를 일반화한다.
• 값 함수는 경로에 따라 제어가 의존하는 경우에도 폐쇄형 제어 설정에서 동적 프로그래밍 원리를 만족한다.
• 계수들이 상태에 의존할 경우, 가치 함수는 오직 현재의 변량 분포 $\mu_t$ 에만 의존하게 되며, 즉 $V(t,\mu) = V(t,\mu_t)$ 를 만족한다.
• 해법 이론은 변화에 강건하다: $|V(t_1,\mu) - V(t_2,\nu)| \leq \rho(C\mathcal{W}_2((t_1,\mu),(t_2,\nu)) + C(1 + \mathbb{E}^\mu[\|X_{t_1\wedge\cdot}\|^2])^{1/2}|t_2 - t_1|)$ 로 표현되며, 변화에 대한 안정성을 보여준다.