[논문 리뷰] The Master Equation for Large Population Equilibriums

René Carmona, François Delarue|HAL (Le Centre pour la Communication Scientifique Directe)|2014. 04. 18.

Stochastic processes and financial applications참고 문헌 6인용 수 14

한 줄 요약

이 논문은 공통 노이즈가 존재하는 평균장 게임에서 대규모 인구 균형의 마스터 방정식을 유도한다. 이를 위해 정방향 및 역방향 스토크라스틱 PDE(스파티얼 PDE, SPDE)의 결합된 시스템을 수립하고, 이를 무한차원 정방향-역방향 확률미분방정식(FBSDE)으로 해석한다. 주요 기여는 분리장(field)이 만족하는 PDE로서 마스터 방정식을 도출함으로써, 가치 함수를 정규화된 정방향 콜모고로프 과정의 결정론적 함수로 표현함으로써, 확률적 프레임워크 하에서 스토크라스틱 HJB 방정식과 콜모고로프 방정식을 통합한다.

ABSTRACT

We use a simple N-player stochastic game with idiosyncratic and common noises to introduce the concept of Master Equation originally proposed by Lions in his lectures at the Collège de France. Controlling the limit N tends to the infinity of the explicit solution of the N-player game, we highlight the stochastic nature of the limit distributions of the states of the players due to the fact that the random environment does not average out in the limit, and we recast the Mean Field Game (MFG) paradigm in a set of coupled Stochastic Partial Differential Equations (SPDEs). The first one is a forward stochastic Kolmogorov equation giving the evolution of the conditional distributions of the states of the players given the common noise. The second is a form of stochastic Hamilton Jacobi Bellman (HJB) equation providing the solution of the optimization problem when the flow of conditional distributions is given. Being highly coupled, the system reads as an infinite dimensional Forward Backward Stochastic Differential Equation (FBSDE). Uniqueness of a solution and its Markov property lead to the representation of the solution of the backward equation (i.e. the value function of the stochastic HJB equation) as a deterministic function of the solution of the forward Kolmogorov equation, function which is usually called the decoupling field of the FBSDE. The (infinite dimensional) PDE satisfied by this decoupling field is identified with the extit{master equation}. We also show that this equation can be derived for other large populations equilibriums like those given by the optimal control of McKean-Vlasov stochastic differential equations. The paper is written more in the style of a review than a technical paper, and we spend more time and energy motivating and explaining the probabilistic interpretation of the Master Equation, than identifying the most general set of assumptions under which our claims are true.

연구 동기 및 목표

• 공동 노이즈가 존재하는 평균장 게임의 맥락에서 마스터 방정식을 체계화하는 것. 이는 개인적이고 공통적인 난수 충격으로 인해 대수의 법칙이 완전히 랜덤성을 제거하지 못하는 상황에서의 문제를 다룬다.
• 평균장 게임의 개념을 정방향 콜모고로프 방정식(조건부 분포의 진화를 기술)과 역방향 스토크라스틱 HJB 방정식(가치 함수의 최적 제어를 기술)으로 구성된 결합된 스토크라스틱 PDE 시스템으로 재구성하는 것.
• 이 결합된 SPDE 시스템이 무한차원 FBSDE로 해석될 수 있음을 보여주어, 분리장 기법을 적용할 수 있음을 보장하는 것.
• 분리장이 만족하는 PDE로서 마스터 방정식을 유도함으로써, 가치 함수를 정방향 과정의 결정론적 함수로 표현하는 것.
• 이 프레임워크가 평균장 게임을 초월해, McKean-Vlasov SDE의 최적 제어 문제 등에도 적용 가능함을 보여주는 것.

제안 방법

• 개별 플레이어가 존재하는 스토크라스틱 게임을 수립하고, 개인적 노이즈와 공통 노이즈를 포함한 설정에서 N → ∞로의 극한을 취하여 평균장 균형을 도출한다.
• 정방향 성분이 공통 노이즈를 조건으로 한 플레이어 상태의 조건부 분포의 진화를 기술하는 스토크라스틱 콜모고로프 방정식임을 식별한다.
• 역방향 성분이 주어진 조건부 분포의 흐름 하에서 최적 제어 가치 함수를 지배하는 스토크라스틱 해밀턴-자코비-벨먼(HJB) 방정식임을 식별한다.
• 결합된 SPDE 시스템을 무한차원 FBSDE로 간주하며, 이때 역방향 성분이 정방향 성분의 함수(즉, 분리장)로 표현됨을 가정한다.
• 무한차원 버전의 이토의 공식을 적용하여, 분리장이 만족하는 PDE로서 마스터 방정식을 도출한다.
• 특성의 확률적 해석을 ℝᵈ × ℒ(ℝᵈ) 공간 내 경로로 간주하며, 조건부 분포가 공통 노이즈에 따라 진화하는 방식으로 해석한다.

실험 결과

연구 질문

• RQ1 공통 노이즈가 존재하는 상황에서, 대규모 인구 균형에서 랜덤 환경이 평균화되지 않는 조건에서 마스터 방정식을 엄밀하게 유도할 수 있는가?
• RQ2 지속적인 공통 노이즈로 인해 극한 분포가 결정론적이지 않은 경우, 마스터 방정식의 확률적 해석은 어떻게 이루어지는가?
• RQ3 무한차원 FBSDE 프레임워크에서의 분리장은 마스터 방정식과 어떻게 관련되어 있으며, 어떤 PDE를 만족하는가?
• RQ4 마스터 방정식은 평균장 게임을 초월해, McKean-Vlasov SDE의 최적 제어 문제와 같은 다른 대규모 인구 균형 문제로 확장될 수 있는가?
• RQ5 결합된 SPDE 시스템으로부터 마스터 방정식을 유도하는 데 있어 무한차원 이토의 공식은 어떤 역할을 하는가?

주요 결과

• 마스터 방정식은 무한차원 FBSDE의 분리장이 만족하는 PDE로서 도출되며, 이는 정방향 콜모고로프 방정식의 해를 역방향 HJB 방정식의 가치 함수로 매핑하는 역할를 한다.
• 정방향 성분은 공통 노이즈를 조건으로 한 플레이어 상태의 조건부 분포의 진화를 기술하는 스토크라스틱 콜모고로프 방정식이다.
• 역방향 성분은 주어진 조건부 분포의 흐름 하에서 최적 제어 문제를 지배하는 스토크라스틱 HJB 방정식이다.
• 가치 함수를 정방향 과정의 결정론적 함수로 표현하는 분리장은 마스터 방정식을 만족하며, 이는 균형 정보를 하나의 PDE에 통합함으로써 전체 균형 정보를 압축한다.
• 유도 과정은 확률측도 공간에 적응된 무한차원 이토의 공식을 기반으로 하며, 시간 메esh의 정밀화에 따라 수렴성 증명을 통해 검증된다.
• 이 프레임워크는 평균장 게임 외에도 McKean-Vlasov SDE의 최적 제어 문제 등에 적용 가능하며, 마스터 방정식 체계의 광범위한 적용 가능성을 보여준다.