[논문 리뷰] Mean Field Control and Mean Field Game Models with Several Populations

Alain Bensoussan, Tao Huang외 1명|arXiv (Cornell University)|2018. 10. 01.

Stochastic processes and financial applications참고 문헌 12인용 수 25

한 줄 요약

이 논문은 두 개의 상호작용하는 대규모 동일한 에이전트 집단을 가진 시스템에 대해 평균장 제어(MFC) 및 평균장 게임(MFG) 이론을 확장한다. 변분법을 사용하여 최적성 조건을 위한 쌍대 방정식을 유도하고, 협동체계 간의 경쟁이 주어진 마스터 방정식 시스템이 필요하다는 것을 보여주며, 선형-제곱형 모델의 경우 리카티 유형의 상미분방정식을 통해 명시적 해를 제공한다.

ABSTRACT

In this paper, we investigate the interaction of two populations with a large number of indistinguishable agents. The problem consists in two levels: the interaction between agents of a same population, and the interaction between the two populations. In the spirit of mean field type control (MFC) problems and mean field games (MFG), each population is approximated by a continuum of infinitesimal agents. We define four different problems in a general context and interpret them in the framework of MFC or MFG. By calculus of variations, we derive formally in each case the adjoint equations for the necessary conditions of optimality. Importantly, we find that in the case of a competition between two coalitions, one needs to rely on a system of Master equations in order to describe the equilibrium. Examples are provided, in particular linear-quadratic models for which we obtain systems of ODEs that can be related to Riccati equations.

연구 동기 및 목표

• 동일한 에이전트로 구성된 두 대규모 집단 간의 상호작용을 평균장 근사법을 사용하여 모델링하기.
• 다중집단 설정에서 인구 간 상호작용 동역학을 고려한 평균장 제어(MFC) 및 평균장 게임(MFG) 프레임워크를 확장하기.
• 이러한 맥락에서 네 가지 다른 문제 설정에 대해 변분법을 통해 필수 최적성 조건을 도출하기.
• 경쟁적 두 집단 설정에서의 균형이 표준 편미분방정식(PDE)이 아닌 마스터 방정식 시스템이 필요하다는 것을 보여주기.
• 선형-제곱형 모델에 대해 리카티 방정식과 관련된 상미분방정식 시스템을 통해 명시적 해를 제공하기.

제안 방법

• 두 상호작용 집단을 위한 일반적인 평균장 프레임워크 내에서 네 가지 다른 문제 유형(CMFC, CMFG, NMFC, NMFG)을 수립한다.
• 각 경우에 대해 필수 최적성 조건을 도출하기 위해 변분법을 적용한다.
• 명시적 해를 도출하기 위해 제곱형 비용과 선형 동역학을 가정한다.
• 가설 기반의 가치 함수 형태를 사용: $ u_i(x,t) = \frac{1}{2}x^*P^i_tx + x^*\nu^i_t + \tau^i_t $, 이는 $ P^i_t, \nu^i_t, \tau^i_t $ 를 위한 상미분방정식 시스템을 이끈다.
• 에이전트 집단 분포 하에서 가치 함수의 기대 기울기의 진화를 기록하는 데 사용되는 비대칭 리카티 방정식을 유도한다: $ K^i_t \overline{m}_{i,t} = \int Du_i(x,t) m_i(x,t) dx $.
• CMFC 및 CMFG 문제의 경우 선형-제곱형(LQ) 설정에서 서로 다른 상미분방정식 시스템을 도출하며, NMFC는 또 다른 독립된 시스템을 제공한다.

실험 결과

연구 질문

• RQ1 두 대규모 에이전트 집단 간의 상호작용이 있을 경우 평균장 제어 및 평균장 게임 모델은 어떻게 일반화되는가?
• RQ2 이러한 다중집단 평균장 시스템에 대해 필수 최적성 조건은 무엇인가?
• RQ3 왜 경쟁적 두 집단 설정에서 균형을 기술하기 위해 마스터 방정식 시스템이 필요한가?
• RQ4 선형-제곱형 모델에서 유도된 상미분방정식 시스템은 리카티 방정식과 어떻게 관련이 있는가?
• RQ5 이러한 다중집단 맥락에서 CMFC, CMFG, NMFC, NMFG 설정 간 최적 제어 및 균형 역학은 어떻게 다름을 보이는가?

주요 결과

• 두 대규모 집단 간의 상호작용는 특히 경쟁적 맥락에서 균형을 기술하기 위해 마스터 방정식 시스템이 필요하다.
• 선형-제곱형 모델에서는 쌍대 방정식이 $ P^i_t, \nu^i_t, \tau^i_t $ 를 위한 상미분방정식 시스템으로 간소화되며, 종료 조건은 문제의 매개변수로부터 유도된다.
• 비대칭 리카티 방정식이 $ K^i_t $ 를 위해 도출되었으며, 이는 집단 분포 하에서 가치 함수의 기대 기울기의 진화를 기록한다.
• CMFC 및 CMFG 문제의 경우 선형-제곱형 설정에서 서로 다른 상미분방정식 시스템을 도출하며, 이는 최적 제어 및 균형 행동이 다름을 나타낸다.
• NMFC 문제의 경우 다른 세 가지 설정과는 다른 상미분방정식 시스템을 도출하며, 모델링 프레임워크의 선택이 해 구조에 상당한 영향을 미친다는 것을 확인한다.
• 모든 네 가지 문제 유형에 대해 선형-제곱형 설정에서 명시적 해를 확보하였으며, 모든 구성 요소가 행렬 상미분방정식과 리카티 유형 방정식으로 표현된다.