[논문 리뷰] A Class of Mean-field LQG Games with Partial Information

Jianhui Huang, Shujun Wang|arXiv (Cornell University)|2014. 03. 24.

Economic theories and models참고 문헌 21인용 수 5

한 줄 요약

이 논문은 대규모 인구 시스템에서 부분 정보를 가진 에이전트를 고려하는 새로운 유형의 평균장 LQG 게임을 제안한다. 여기서 에이전트들은 부분 필터링 또는 노이즈 있는 상태 관측을 경험한다. Riccati 기반의 일致성 조건을 통해 비중앙화 전략을 유도하고, 극한 상태 평균이 관측되지 않은 공통 노이즈로 인해 랜덤해지는 바에 따라 에psilon-네시 균형 성질을 증명한다.

ABSTRACT

The large-population system consists of considerable small agents whose individual behavior and mass effect are interrelated via their state-average. The mean-field game provides an efficient way to get the decentralized strategies of large-population system when studying its dynamic optimizations. Unlike other large-population literature, this current paper possesses the following distinctive features. First, our setting includes the partial information structure of large-population system which is practical from real application standpoint. Specially, two cases of partial information structure are considered here: the partial filtration case (see Section 2, 3) where the available information to agents is the filtration generated by an observable component of underlying Brownian motion; the noisy observation case (Section 4) where the individual agent can access an additive white-noise observation on its own state. Also, it is new in filtering modeling that our sensor function may depend on the state-average. Second, in both cases, the limiting state-averages become random and the filtering equations to individual state should be formalized to get the decentralized strategies. Moreover, it is also new that the limit average of state filters should be analyzed here. This makes our analysis very different to the full information arguments of large-population system. Third, the consistency conditions are equivalent to the wellposedness of some Riccati equations, and do not involve the fixed-point analysis as in other mean-field games. The $ε$-Nash equilibrium properties are also presented.

연구 동기 및 목표

• 에이전트가 상태와 질량 효과에 대해 제한된(부분적) 정보를 가지는 대규모 인구 스토케스틱 시스템을 다루기 위해.
• 관측되지 않는 공통 노이즈와 노이즈 있는 상태 관측을 포함하는 현실적인 시나리오를 모델링하고, 고전적 평균장 게임 이론을 확장하기 위해.
• 부분 정보 하에서 약간 최적인 비중앙화 전략을 도출하고, 에psilon-네시 균형 성질을 보장하기 위해.
• 관측되지 않는 브라운 운동 성분으로 인해 랜덤해지는 상태 평균이 존재할 경우 개별 상태의 필터링 방정식을 체계화하기 위해.
• 고정점 분석을 피하고 잘 정의된 Riccati 방정식을 통해 일치 조건을 설정함으로써 분석을 단순화하기 위해.

제안 방법

• 선형 동역학과 제곱형 비용을 가지는 대규모 인구 시스템을 모델링하며, 에이전트는 상태 평균을 통해 상호작용하고 부분 정보를 경험한다.
• 두 가지 부분 정보 구조를 고려한다: (1) 에이전트가 기저 브라운 운동의 일부 성분만 관측한다(부분 필터링), (2) 에이전트는 자신의 상태에 대한 노이즈 있는 관측을 받는다.
• 대규모 인구 극한과 관측되지 않는 공통 노이즈를 고려해, 칼만 유형의 동역학을 적용하여 개별 상태의 필터링 방정식을 유도한다.
• 상태 필터의 극한 행동을 분석하기 위해 보조 평균장 확률미분방정식(MFSDEs)을 도입한다.
• 고정점 분석을 피하기 위해 Riccati 방정식의 해를 통해 일치 조건을 설정한다—노이즈 있는 관측의 경우 두 개의 결합된 Riccati 방정식이 필요하다.
• Gronwall의 부등식과 제곱수 유계성의 논증을 사용하여 상태 및 제어 과정이 O(1/√N)의 속도로 평균장 극한에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 에이전트가 상태와 질량 효과에 대해 부분 정보를 가지는 대규모 인구 LQG 게임에서 비중앙화 전략은 어떻게 도출할 수 있는가?
• RQ2 관측되지 않는 공통 노이즈(예: 관측되지 않는 브라운 운동)는 상태 평균과 필터링 역학의 극한 행동에 어떤 영향을 미치는가?
• RQ3 부분 정보 설정에서 개별 상태의 필터링 방정식은 전체 정보 설정과 어떻게 다를까?
• RQ4 고정점 반복 없이 Riccati 방정식을 통해 평균장 LQG 게임의 일치 조건을 특성화할 수 있는가?
• RQ5 부분 정보 하에서 개별 상태와 제어 과정이 평균장 극한으로 수렴하는 속도는 얼마인가?

주요 결과

• 관측되지 않는 공통 노이즈로 인해 극한 상태 평균 과정이 랜덤해지며, 전체 정보 설정에서의 결정론적 극한과는 다름을 보였다.
• 대규모 인구 극한에서 개별 상태의 필터링 방정식을 체계화하였으며, 랜덤한 상태 평균을 불확실성의 원천으로 통합하였다.
• 일치 조건은 잘 정의된 Riccati 방정식의 해와 동치이며, 특히 부분 필터링의 경우 하나의 Riccati 방정식, 노이즈 있는 관측의 경우 두 개의 결합된 Riccati 방정식이 필요하다.
• 비중앙화 전략은 에psilon-네시 균형을 달성하며, 이로 인한 편차 비용은 O(1/√N)로 유계이므로 점근적으로 최적임을 나타낸다.
• 상태 및 제어 과정이 평균장 극한으로 수렴하는 속도는 O(1/√N)이며, 이는 Gronwall의 부등식과 제어의 L2 유계성에 기반하여 증명되었다.
• 고정점 분석을 피하고 Riccati 방정식의 해 존재성에 의존함으로써, 기존의 평균장 게임 접근법에 비해 일치 조건 유도 과정이 단순화되었다.