[논문 리뷰] Mean Field Linear-Quadratic-Gaussian (LQG) Games: Major and Minor Players

Jianhui Huang, Shujun Wang외 1명|arXiv (Cornell University)|2014. 03. 17.

Stochastic processes and financial applications참고 문헌 13인용 수 3

한 줄 요약

이 논문은 주로 후행 확률미분방정식(BSDE)에 의해 지배되는 주요 플레이어와 상태 평균에 의해 연결된 다수의 소규모 플레이어를 가진 평균장 LQG 게임 프레임워크를 제안한다. 보조 평균장 확률미분방정식(MFSDE)과 3×2 혼합 전방-후행 확률미분방정식(FBSDE) 시스템을 도입함으로써, 고정점 분석을 피한 채 O(1/√N) 오차를 가진 ϵ-네시 균형을 달성하는 탈중앙화된 전략을 유도한다. 이는 이전 연구에서 사용된 고정점 분석을 피하는 것이다.

ABSTRACT

This paper is concerned with a backward-forward stochastic differential equation (BFSDE) system, in which a large number of negligible agents are coupled in their dynamics via state average. Here some BSDE is introduced as the dynamics of major player, while dynamics of minor players are described by SDEs. Some auxiliary mean-field SDEs (MFSDEs) and a $3 imes2$ mixed forward-backward stochastic differential equation (FBSDE) system are considered and analyzed instead of involving the fixed-point analysis as in other mean-field games. We also derive the decentralized strategies which are shown to satisfy the $ε$-Nash equilibrium property.

연구 동기 및 목표

• 주요 플레이어가 상태 평균에 의해 영향을 미치는 다수의 소규모 에이전트를 포함하는 대규모 확률 시스템을 모델링하는 것.
• 후행 SDE로 지배되는 주요 플레이어의 존재를 고려한 탈중앙화된 제어 문제를 해결하는 것.
• 기존 평균장 게임 이론에서 흔히 사용되는 고정점 분석을 피하기 위해 보조 평균장 SDE와 혼합 FBSDE 시스템을 도입하여 일致 조건 유도에 기여하는 것.
• 소규모 플레이어에 대한 탈중앙화된 전략을 수립하여, 정량화된 오차 한계를 가진 ϵ-네시 균형을 달성하는 것.

제안 방법

• 주요 플레이어의 동역학이 BSDE로 기술되고 소규모 플레이어가 상태 평균에 의해 연결되는 후행-전방 확률미분방정식(BFSDE) 시스템을 수립한다.
• 소규모 플레이어 상태의 경험적 평균을 근사하기 위해 보조 평균장 SDE(MFSDE)를 도입하여 분석의 가능성을 높인다.
• 일致 조건과 최적 제어 법칙 유도를 위해 3×2 혼합 전방-후행 확률미분방정식(FBSDE) 시스템을 분석한다.
• Gronwall의 부등식과 제어의 L² 유계성 조건을 적용하여 유한-N 시스템과 평균장 극한 사이의 오차 추정치를 도출한다.
• 변형 분석과 상태공간 분해를 활용하여 유한 인구 수 시스템과 평균장 근사치를 비교한다.
• 개별 비용 기능의 편차가 평균장 최적 값에서 얼마나 벗어나는지 bounds를 설정함으로써 ϵ-네시 균형 성질을 확립한다.

실험 결과

연구 질문

• RQ1 주요 플레이어의 동역학이 전방 SDE가 아닌 후행 SDE에 의해 지배될 경우, 어떻게 평균장 LQG 게임을 수립할 수 있는가?
• RQ2 상태 평균을 통해 연결되는 주요 플레이어와 N명의 소규모 플레이어로 구성된 대규모 인구 시스템에서, 일치 조건의 구조는 어떠한가?
• RQ3 기존 평균장 게임 이론에서 흔히 사용되는 고정점 추론에 의존하지 않고도 소규모 플레이어에 대한 탈중앙화된 전략을 도출할 수 있는가?
• RQ4 유한-N 시스템에서 평균장 전략을 사용할 경우, 비용 기능에서의 근사 오차의 차수는 얼마이며, 이는 ϵ-네시 균형을 유도하는가?

주요 결과

• 고정점 분석을 대체하기 위해 3×2 혼합 FBSDE 시스템을 수립함으로써, 평균장 극한에서 직접적으로 일치 조건을 도출할 수 있음을 입증하였다.
• 소규모 플레이어에 대한 탈중앙화된 전략은 평균장 근사치에 기반하여 도출되었으며, 각 플레이어의 제어는 오직 자신의 상태와 평균장 상태에만 의존한다.
• 유한-N 시스템과 평균장 최적 전략 간의 비용 편차는 O(1/√N)로 유계되어 있으며, 이는 ϵ = O(1/√N)를 가진 ϵ-네시 균형 성질을 확인한다.
• 소규모 플레이어의 상태 평균 과정은 L² 오차 O(1/N)로 평균장 상태로 수렴함을 보였으며, 이는 제4.2조와 보조정리 4.4를 통해 입증되었다.
• 주요 플레이어의 최적 제어는 후행 SDE의 해로부터 도출되었으며, 그 비용이 평균장 극한에서 최적 값과 O(1/√N) 이내임을 입증하였다.
• 분석 결과, 주요 플레이어의 동역학이 후행적일 경우에도 평균장 근사가 유지됨을 확인하였으며, 이는 이전의 전방 동역학 기반 프레임워크를 확장하는 것이다.