[논문 리뷰] Linear Quadratic Mean Field Game with Control Input Constraint

Ying Hu, Huang Jianhui외 1명|arXiv (Cornell University)|2016. 10. 19.

Stochastic processes and financial applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 투자 제약 조건이 있는 선형-제곱형 평균장 게임을 투영 기반 해밀토니안 시스템을 사용하여 분산 전략을 모델링함으로써 연구한다. 단조성 방법을 통해 일致 조건의 잘 정의됨을 확립하고, $N$명의 에이전트 수를 기준으로 $\epsilon = O(1/\sqrt{N})$인 $\epsilon$-내쉬 균형을 증명한다. 이는 일반적인 닫힌 볼록 제약 조건 하에서 성립한다.

ABSTRACT

In this paper, we study a class of linear-quadratic (LQ) mean-field games in which the individual control process is constrained in a closed convex subset $Γ$ of full space $\mathbb{R}^m$. The decentralized strategies and consistency condition are represented by a class of mean-field forward-backward stochastic differential equation (MF-FBSDE) with projection operators on $Γ$. The wellposedness of consistency condition system is obtained using the monotonicity condition method. The related $ε$-Nash equilibrium property is also verified.

연구 동기 및 목표

• 개별 제어가 닫힌 볼록 집합 $\Gamma \subset \mathbb{R}^m$ 내에 제약되는 대규모 인구의 확률적 미분 게임을 분석한다.
• 국소 정보와 평균장 근사에 기반한 분산 최적 전략을 유도한다.
• 투영 연산자를 포함한 평균장 정방향-역방향 확률 미분 방정식(MF-FBSDE)에서 유도된 일치 조건 시스템의 잘 정의됨을 확립한다.
• 제어 제약 조건 하에서 유도된 전략의 $\epsilon$-내쉬 균형 성질을 검증한다.
• 기존의 LQ-MFG 프레임워크를 일반적인 닫힌 볼록 제약 조건(예: 매도 금지 및 시장 접근 제약 포함)을 통합함으로써 일반화한다.

제안 방법

• 제어 제약 조건이 $\Gamma$에 있는 선형-제곱형 평균장 게임 프레임워크를 사용하여 문제를 모델링한다.
• 확률적 최대 원리 적용을 통해 $\Gamma$에 대한 투영 연산자를 포함한 해밀토니안 시스템을 유도한다.
• 투영 연산자를 포함한 평균장 정방향-역방향 확률 미분 방정식(MF-FBSDE)으로 일치 조건을 공식화한다.
• 단조성 조건 방법을 사용하여 MF-FBSDE 시스템의 잘 정의됨을 증명한다.
• 투영 연산자의 성질(예: 비확장성 및 변분부등식 특성)을 활용하여 시스템 동역학을 분석한다.
• 비용 기능의 차이를 $L^2$-추정과 $O(1/\sqrt{N})$ 오차 항을 사용하여 유한한 $N$-플레이어 게임이 평균장 근사로 수렴함을 확보한다.

실험 결과

연구 질문

• RQ1 개별 제어가 닫힌 볼록 집합 $\Gamma$에 제약될 때 선형-제곱형 평균장 게임에서 분산 전략은 어떻게 특징지어질 수 있는가?
• RQ2 제어 제약 조건이 존재할 경우 일치 조건 시스템의 구조는 어떻게 되며, 잘 정의되어 있는가?
• RQ3 유도된 전략은 $\epsilon$-내쉬 균형을 형성할 수 있으며, $N \to \infty$일 때 수렴 속도는 어떻게 되는가?
• RQ4 제약 집합 $\Gamma$에 대한 투영 연산자는 해밀토니안 시스템과 그 결과로 유도된 MF-FBSDE에 어떤 영향을 미치는가?
• RQ5 제어 제약 조건 하에서 투영 연산자를 포함한 MF-FBSDE의 해가 존재하고 유일한 조건은 무엇인가?

주요 결과

• 투영 연산자를 포함한 평균장 정방향-역방향 확률 미분 방정식(MF-FBSDE)으로 표현된 일치 조건 시스템은 단조성 조건 하에서 잘 정의되어 있다.
• 최적의 분산 전략은 제약 집합 $\Gamma$에 대한 투영을 포함한 해밀토니안 시스템을 통해 특징지어진다.
• $\epsilon$-내쉬 균형 성질이 $\epsilon = O(1/\sqrt{N})$로 성립하며, 이는 $N$-플레이어 게임이 평균장 근사로 수렴함을 시사한다.
• $N$-플레이어와 평균장 해의 비용 기능 간 오차는 $L^2$-추정과 투영 연산자 부등식을 통해 $O(1/\sqrt{N})$로 유계화된다.
• 투영 연산자 $\mathbf{P}_\Gamma$는 핵심 성질을 만족한다: 비확장성 ($|\mathbf{P}_\Gamma[x] - \mathbf{P}_\Gamma[y]| \leq |x - y|$) 및 변분부등식 ($\langle \mathbf{P}_\Gamma[x] - x, \mathbf{P}_\Gamma[x] - y \rangle \leq 0$ for all $y \in \Gamma$).
• 분석 결과, 양의 정부호 영역 및 일반적인 코ーン을 포함한 일반적인 닫힌 볼록 제약 조건 하에서도 시스템은 안정적이고 일致성이 유지됨을 확인하였다.