[논문 리뷰] Learning High-Dimensional McKean-Vlasov Forward-Backward Stochastic Differential Equations with General Distribution Dependence

Jiequn Han, Ruimeng Hu외 1명|arXiv (Cornell University)|2022. 04. 25.

Stochastic processes and financial applications인용 수 5

한 줄 요약

이 논문은 가상의 플레이(fictitious play)를 사용하여 신경망을 통해 계수 함수를 반복적으로 갱신함으로써 전체 분포 의존성과 함께 고차원 맥클린-플라소우 후방-전방 확률미분방정식(MV-FBSDEs)을 해결하기 위한 딥러닝 방법을 제안한다. 이 방법은 적분 확률 거리 측도를 사용하여 차원의 극복 문제(curse of dimensionality)가 없는 수렴성을 증명하였으며, 전체 분포 비용 의존성을 가진 고차원 쿠퍼-스마일 평균장 게임을 성공적으로 해결하였다.

ABSTRACT

One of the core problems in mean-field control and mean-field games is to solve the corresponding McKean-Vlasov forward-backward stochastic differential equations (MV-FBSDEs). Most existing methods are tailored to special cases in which the mean-field interaction only depends on expectation or other moments and thus inadequate to solve problems when the mean-field interaction has full distribution dependence. In this paper, we propose a novel deep learning method for computing MV-FBSDEs with a general form of mean-field interactions. Specifically, built on fictitious play, we recast the problem into repeatedly solving standard FBSDEs with explicit coefficient functions. These coefficient functions are used to approximate the MV-FBSDEs' model coefficients with full distribution dependence, and are updated by solving another supervising learning problem using training data simulated from the last iteration's FBSDE solutions. We use deep neural networks to solve standard BSDEs and approximate coefficient functions in order to solve high-dimensional MV-FBSDEs. Under proper assumptions on the learned functions, we prove that the convergence of the proposed method is free of the curse of dimensionality (CoD) by using a class of integral probability metrics previously developed in [Han, Hu and Long, arXiv:2104.12036]. The proved theorem shows the advantage of the method in high dimensions. We present the numerical performance in high-dimensional MV-FBSDE problems, including a mean-field game example of the well-known Cucker-Smale model whose cost depends on the full distribution of the forward process.

연구 동기 및 목표

• 기존 방법이 순간 또는 기대값에 의존하는 평균장 상호작용만 다루는 데에 한계가 있음을 해결하기 위해.
• 평균장 제어 및 게임에서 발생하는 고차원 MV-FBSDEs를 해결하기 위한 확장 가능한 딥러닝 프레임워크를 개발하기 위해.
• 일반적인 분포 의존성 하에서 제안된 방법의 수렴성이 차원의 극복 문제 없이 이루어짐을 증명하기 위해.
• 전체 분포 비용 의존성을 가진 고차원 쿠퍼-스마일 평균장 게임에서 방법의 수치적 검증을 수행하기 위해.

제안 방법

• 이 방법은 MV-FBSDE 계수를 분포의 함수로 근사함으로써 표준 FBSDE를 반복적으로 해결하기 위해 가상의 플레이를 사용한다.
• 표준 후방 SDE를 해결하고, 전진 과정의 전체 법칙에 의존하는 계수 함수를 근사하기 위해 딥 신경망을 사용한다.
• 각 반복 단계에서 이전 해의 시뮬레이션 경로에서 유도된 학습 데이터를 사용하여 계수 함수를 갱신하기 위한 지도학습 모델을 훈련시킨다.
• 분포 간 차이를 측정하고 수렴을 보장하기 위해 적분 확률 거리 측도(IPMs), 특히 최대 평균 차이를 활용한다.
• 반복 과정은 딥 BSDE 솔버를 사용한 FBSDE 해법과 지도학습을 통한 분포 의존 계수 갱신을 번갈아가며 수행된다.
• 적절한 가정 하에서 IPMs를 사용하여 수렴성을 증명함으로써, 이 방법이 고차원에서의 확장 가능성임을 입증한다.

(a) $d=5$

실험 결과

연구 질문

• RQ1 기존의 순간 기반 상호작용을 넘어서 일반적인 전체 분포 의존성을 가진 고차원 MV-FBSDEs를 해결하기 위한 딥러닝 방법을 설계할 수 있는가?
• RQ2 복잡한 분포 의존성 구조를 가진 MV-FBSDEs를 해결할 때 제안된 방법이 차원의 극복 문제 없이 수렴하는가?
• RQ3 전체 분포 비용 의존성을 가진 고차원 평균장 게임, 예를 들어 쿠퍼-스마일 모델에서 이 방법은 어떻게 수치적으로 성능을 발휘하는가?
• RQ4 가상의 플레이 프레임워크는 MV-FBSDEs의 분포 의존 계수를 다루기 위해 딥 BSDE 솔버와 효과적으로 조합될 수 있는가?
• RQ5 분포 비용 구조는 평균장 게임에서 최적 제어 및 상태 동역학에 어떤 영향을 미치는가?

주요 결과

• β=0일 때 수치적 해는 Y₀²의 L² 오차 0.017을 기록하여 해석적 해와 강한 일치를 보였다.
• 최종 위치 x_T 및 속도 v_T의 밀도도는 대칭성과 모델의 예상 행동과 일치함을 확인하였다.
• v_t의 첫 번째 성분의 표준편차는 β가 증가함에 따라 증가하여, β가 클수록 위치와 속도를 일치시키는 데에 투자하는 노력이 감소함을 반영하였다.
• 제어 u_t의 밀도는 β가 클수록 0에 더 집중되었으며, 이는 비용 함수에서 비일치에 대한 처벌이 감소함과 일치하였다.
• 이 방법은 표준 랩탑에서 3D 쿠퍼-스마일 평균장 게임을 전체 분포 의존성 하에서 474초 만에 성공적으로 해결하였다.
• 이론적 분석은 이 방법의 수렴성이 적분 확률 거리 측도를 수렴 기준으로 사용함으로써 차원의 극복 문제 없이 이루어짐을 확인하였다.

(b) $d=10$