[논문 리뷰] Linear-Quadratic-Gaussian Mixed Mean-field Games with Heterogeneous Input Constraints

Ying Hu, Jianhui Huang외 1명|arXiv (Cornell University)|2017. 10. 09.

Stochastic processes and financial applications참고 문헌 24인용 수 3

한 줄 요약

이 논문은 주요 에이전트와 이질적인 보조 에이전트를 포함하는 선형-이차-가우시안 평균장 게임 프레임워크를 개발하며, 개별 제어는 닫힌 볼록 집합에 제약을 받는다. 투영 연산자를 갖는 정방향-역방향 확률미분방정식을 통해 일致 조건 시스템의 잘 정의됨을 입증하고, 국소 및 전역 조건 하에서 수축 사상과 할인 방법을 사용하여 ε-내쉬 균형의 존재를 증명한다.

ABSTRACT

We consider a class of linear-quadratic-Gaussian mean-field games with a major agent and considerable heterogeneous minor agents in the presence of mean-field interactions. The individual admissible controls are constrained in closed convex subsets $Γ_{k}$ of $\mathbb{R}^{m}.$ The decentralized strategies for individual agents and consistency condition system are represented in an unified manner through a class of mean-field forward-backward stochastic differential equations involving projection operators on $Γ_{k}$. The well-posedness of consistency system is established in both the local and global cases by the contraction mapping and discounting method respectively. Related $\varepsilon-$Nash equilibrium property is also verified.

연구 동기 및 목표

• 주요 에이전트가 보조 에이전트에 상당한 영향을 미치는 대규모 인구 확률 시스템을 모델링하기 위해.
• 각 보조 에이전트의 허용 가능한 제어를 닫힌 볼록 부분집합 Γk ⊂ ℝm 내에 모델링하여 제어 제약을 다루기 위해.
• 국소 정보와 대량 효과 양상에 기반한 탈중앙화된 전략 설계 방법을 개발하기 위해.
• 국소 및 전역 설정 모두에서 평균장 균형에 대한 일치 조건 시스템의 잘 정의됨을 확립하기 위해.
• 유도된 전략의 ε-내쉬 균형 성질을 검증하여 대규모 인구 설정에서의 근사 최적성 보장하기 위해.

제안 방법

• 개별 제어 제약 집합 Γk에 대한 투영 연산자를 갖는 정방향-역방향 확률미분방정식(FBSDE) 시스템을 사용하여 문제를 수립한다.
• 두 단계 매핑을 도입한다: 첫째, 주어진 평균장 항을 사용하여 정방향 SDE를 풀고, 둘째, 투영된 제어 전략을 사용하여 역방향 SDE를 푼다.
• 가중치 노름 ‖·‖λ 하에서 수축 사상 원리를 적용하여 일치 시스템의 국소 잘 정의됨을 증명한다.
• 할인 방법을 적용하여 지수 가중치 λ를 조정함으로써 수축을 보장함으로써 전역 잘 정의됨을 확립한다.
• 이질적인 입력 제약을 강제하기 위해 투영 연산자를 사용하여 각 보조 에이전트의 허용 가능한 제어가 Γk 내에 유지되도록 보장한다.
• 보조 에이전트 상태의 경험적 분포가 균형 전략에 의해 생성된 평균장 극한과 일치하도록 요구함으로써 일치 조건을 도출한다.

실험 결과

연구 질문

• RQ1 어떻게 주요 에이전트가 대규모 보조 에이전트에 상당한 영향을 미치며, 이질적 제어 제약을 갖는 보조 에이전트를 포함하는 평균장 게임 모델을 확장할 수 있는가?
• RQ2 이러한 혼합 평균장 게임에서 일치 조건 시스템의 해가 존재하고 유일한 조건은 무엇인가?
• RQ3 국소 상태 정보와 대량 효과 항만을 사용하여 제어 제약을 준수하면서 탈중앙화된 전략을 어떻게 구성할 수 있는가?
• RQ4 이질적 제약 하에서 정방향-역방향 확률미분방정식 시스템의 잘 정의됨을 입증하기 위해 어떤 수학적 기법을 사용할 수 있는가?
• RQ5 유도된 전략 프로파일은 ε-내쉬 균형을 이루며, 이 근사가 유효한 조건은 무엇인가?

주요 결과

• 가중치 노름 공간에 수축 사상 원리를 적용함으로써 국소 경우에 일치 조건 시스템이 잘 정의됨이 입증된다.
• 할인 방법을 사용하여 전역 잘 정의됨이 확립되며, 더 넓은 매개변수 조건 하에서도 존재성을 보장한다.
• 투영 연산자를 갖는 FBSDE 시스템의 해는 모든 보조 에이전트와 주요 에이전트에 대한 탈중앙화된 전략을 특징짓는다.
• 유도된 전략은 ε-내쉬 균형을 이룬다. 이 근사 오차 ε은 보조 에이전트 수가 무한으로 갈수록 소멸한다.
• ε-내쉬 균형의 수렴 속도는 k11, k12, k4, k5 및 시간 영역 T를 포함하는 지수 감쇠 항을 통해 정량화된다.
• 해의 차이를 가중치 노름을 통해 유 bounds함으로써 증명이 이루어지며, λ, K1, K2, K3, K4에 대한 충분 조건이 수축을 보장한다.