[논문 리뷰] The Master Equation in Mean Field Theory

Alain Bensoussan, Jens Frehse외 1명|arXiv (Cornell University)|2014. 04. 16.

Stochastic processes and financial applications참고 문헌 3인용 수 8

한 줄 요약

이 논문은 평균장 이론의 마스터 방정식에 대해 대표적 에이전트 프레임워크를 수립하며, 유한한 플레이어의 내시 균형에 의존하지 않고도 마스터 방정식을 직접 유도할 수 있음을 보여준다. 주요 기여는 평균장 제어 문제에 대해 마스터 방정식을 완전히 특성화하고, 관련된 확률적 HJB-FP 시스템을 통해 평균장 게임에서 이를 복원하는 것이다. 이는 볼록성과 피드백 제어를 포함한 체계적 리스크 모델에 대해 명시적 해를 통해 검증된다.

ABSTRACT

In his lectures at College de France, P.L. Lions introduced the concept of Master equation, see [5] for Mean Field Games. It is introduced in a heuristic fashion, from the system of partial differential equations, associated to a Nash equilibrium for a large, but finite, number of players. The method, also explained in[2], consists in a formal analogy of terms. The interest of this equation is that it contains interesting particular cases, which can be studied directly, in particular the system of HJB-FP (Hamilton-Jacobi-Bellman, Fokker-Planck) equations obtained as the limit of the finite Nash equilibrium game, when the trajectories are independent, see [4]. Usually, in mean field theory, one can bypass the large Nash equilibrium, by introducing the concept of representative agent, whose action is influenced by a distribution of similar agents, and obtains directly the system of HJB-FP equations of interest, see for instance [1]. Apparently, there is no such approach for the Master equation. We show here that it is possible. We first do it for the Mean Field type control problem, for which we interpret completely the Master equation. For the Mean Field Games itself, we solve a related problem, and obtain again the Master equation.

연구 동기 및 목표

• 평균장 이론의 마스터 방정식에 대해 직접적이고 대표적 에이전트 기반 접근법을 개발하여, 유한한 플레이어의 내시 균형 구성에 의존하지 않도록 하는 것.
• 확률적 HJB 및 포커-플랑크 방정식을 사용하여 평균장 유형 제어 문제에 대해 마스터 방정식을 완전히 특성화하는 것.
• 관련 문제를 해결하고 마스터 방정식을 복원함으로써 프레임워크를 평균장 게임으로 확장하는 것.
• 은행 간 대출 동적 구조를 포함한 체계적 리스크 모델에서 명시적 해를 통해 접근법을 검증하는 것.
• 공통 노이즈와 비선형 상호작용이 존재하는 상황에서도 마스터 방정식이 대표적 에이전트 형식론을 통해 유도될 수 있음을 보여주는 것.

제안 방법

• 확률측도 위의 함수에 대한 가테외 미분 가능성을 사용하여, 분포 공간에서의 미적분학을 가능하게 하는 마스터 방정식의 공식적 유도.
• 확률적 최대원리와 확률적 HJB 방정식을 적용하여 평균장 제어 문제에서의 가치 함수와 쌍대 역학을 도출하는 것.
• 측도 변수에 대한 두阶 도함수를 포함하는 PDE 시스템으로서의 마스터 방정식 유도. 이는 분포에 의존하는 가치 함수의 역학을 기록한다.
• 피드백 제어 하에서 상태 분포의 진화를 기술하기 위해 포커-플랑크 방정식을 사용하고, 최적성 조건을 위해 HJB 방정식과 결합하는 것.
• 다른 이들의 경험적 분포에 따라 에이전트의 행동이 달라지는 대표적 에이전트 모델을 구축하여, 마스터 방정식의 직접적 유도를 가능하게 하는 것.
• 안사트 $ U(x,m,t) = \frac{1}{2}(x-y)^2P(t) + R(m_1,t) $ 를 통한 명시적 해 구하기. 이는 PDE를 $ P(t) $ 와 $ R(t) $ 에 대한 ODE 시스템으로 감소시킨다.

실험 결과

연구 질문

• RQ1 유한한 플레이어의 내시 균형을 거쳐가지 않고도 평균장 이론의 마스터 방정식을 대표적 에이전트 모델에서 직접 유도할 수 있는가?
• RQ2 평균장 유형 제어 문제의 맥락에서 마스터 방정식의 완전한 특성화는 무엇인가?
• RQ3 어떤 관련 제어 문제 설정을 통해 평균장 게임에서 마스터 방정식을 복원할 수 있는가?
• RQ4 비선형적이고 확률적인 평균장 시스템에서 마스터 방정식의 해가 존재하고 유일하게 보장되는 조건은 무엇인가?
• RQ5 공통 노이즈와 선형-제곱형 구조를 포함한 체계적 리스크 모델에서 마스터 방정식에 대해 명시적 해를 구성할 수 있는가?

주요 결과

• 마스터 방정식은 평균장 유형 제어 문제에서 대표적 에이전트 형식론을 통해 성공적으로 유도되었으며, 유한한 플레이어의 내시 균형 분석이 필요 없어졌다.
• 체계적 리스크 모델에서 마스터 방정식의 해는 $ P(t) $ 와 $ R(m_1,t) $ 를 포함하는 안사트를 사용하여 명시적으로 구성되었으며, PDE가 $ P(t) $ 와 $ R(t) $ 에 대한 ODE 시스템으로 감소되었다.
• $ P(t) $ 를 위한 ODE는 $ \frac{dP}{dt} - 2(\alpha + \lambda)P - P^2 + \mu - \lambda^2 = 0 $ 이며, 종료 조건 $ P(T) = c $ 를 만족하여 $ \mu - \lambda^2 > 0 $ 일 때 볼록성을 확보한다.
• 상태 분포에 대한 포커-플랑크 방정식은 $ (\alpha + \lambda + P(t))(y - x)m $ 라는 이동항을 포함하며, 평균에 대한 에이전트 간 상호작용 효과를 기록한다.
• 가치 함수는 $ u(x,t) = \frac{1}{2}(x - y_0 - \beta b(t))^2 P(t) + R(t) $ 로 주어지며, $ R(t) = \frac{1}{2}(\sigma^2 + \beta^2(1 - m_1)^2) \int_t^T P(s) ds $ 이다. 이는 [5]에서 알려진 결과와 일치한다.
• 해는 마스터 방정식이 은행 간 대출에서의 체계적 리스크 역학을 정확히 기록함을 확인하며, 피드백 효과와 거시경제적 요인 $ b(t) $ 로 인한 공통 노이즈를 모두 포함한다.