[논문 리뷰] Mean Field Games for Multi-agent Systems with Multiplicative Noises

Bing‐Chang Wang, Yuan‐Hua Ni외 1명|arXiv (Cornell University)|2019. 06. 07.

Distributed Control Multi-Agent Systems참고 문헌 31인용 수 4

한 줄 요약

이 논문은 제어에 의존하는 다중성 소음을 갖는 다중 에이전트 시스템에 대해 평균장 게임 전략을 개발하며, 한계 최적 제어 문제와 일致한 평균장 근사법을 사용하여 분산형 ε-네시 균형을 도출한다. 적분기 시스템의 경우, 미약한 조건 하에서 볼록성 기반 전략을 통해 에이전트들이 평균제곱 수렴을 달성함을 증명하며, 리카티 유형의 방정식으로부터 명시적인 안정성 조건을 유도한다.

ABSTRACT

This paper studies mean field games for multi-agent systems with control-dependent multiplicative noises. For the general systems with nonuniform agents, we obtain a set of decentralized strategies by solving an auxiliary limiting optimal control problem subject to consistent mean field approximations. The set of decentralized strategies is further shown to be an $\varepsilon$-Nash equilibrium. For the integrator multiagent systems, we design a set of $\varepsilon$-Nash strategies by exploiting the convexity property of the limiting problem. It is shown that under the mild conditions all the agents achieve mean-square consensus.

연구 동기 및 목표

• 기존의 가우시안 소음 모델이 부족한 제어에 의존하는 다중성 소음을 갖는 대규모 다중 에이전트 시스템의 분산 제어 문제를 다루기 위해.
• 다중 에이전트 역학에서 상태 및 제어에 의존하는 확률적 교란을 고려한 평균장 게임 프레임워크를 개발하기 위해.
• 일般적인 비균일 다중 에이전트 시스템에서 분산 전략이 ε-네시 균형을 형성할 수 있는 조건을 설정하기 위해.
• 적분기 유형의 다중 에이전트 시스템에서 볼록성과 리카티 기반 제어 설계를 활용해 다중성 소음 하에서 평균제곱 수렴을 연구하기 위해.
• 다중성 소음과 가우시안 소음의 경우를 비교하여 수렴 행동의 근본적인 차이를 밝혀내기 위해.

제안 방법

• 대규모 다중 에이전트 시스템에서 다중성 소음을 고려할 때 평균장 효과를 근사하기 위해 보조 한계 최적 제어 문제를 해결한다.
• 개별 최적 반응과 인구 수준의 행동을 연결하는 고정점 방정식을 도출하기 위해 일致한 평균장 근사법을 구현한다.
• 한계 문제의 해와 평균장 효과를 기반으로 한 분산 전략을 유도하며, ε-네시 균형 성질을 보장한다.
• 적분기 시스템의 경우, 한계 문제의 볼록성을 활용하여 리카티 방정식을 사용해 명시적인 ε-네시 전략을 설계한다.
• 상태와 제어에 모두 의존하는 확산 항을 갖는 확률적 선형-제곱(LQ) 프레임워크를 도입해 다중성 소음을 모델링한다.
• 시스템 매개변수로부터 유도된 행렬 쌍의 안정성에 기반해 닫힌 루프 시스템에 대한 안정성 분석을 적용하여 평균제곱 수렴 조건을 도출한다.

실험 결과

연구 질문

• RQ1 제어에 의존하는 다중성 소음을 갖는 다중 에이전트 시스템에 대해 어떻게 분산 전략을 설계할 수 있는가?
• RQ2 유도된 전략 집합이 일반적인 비균일 다중 에이전트 시스템에서 ε-네시 균형을 형성할 수 있는 조건은 무엇인가?
• RQ3 적분기 유형의 다중 에이전트 시스템에서 다중성 소음 하에서도 평균제곱 수렴을 달성할 수 있으며, 그 필요충분조건은 무엇인가?
• RQ4 다중성 소음이 있는 시스템과 가우시안 소음이 있는 시스템 간의 수렴 행동은 어떻게 다를까?
• RQ5 리카티 방정식은 다중성 소음 하에서 시스템을 안정화하고 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 분산 전략은 일치한 평균장 근사법을 통해 유도된 일반적인 비균일 다중 에이전트 시스템에서 다중성 소음 하에 ε-네시 균형을 형성한다.
• 적분기 시스템의 경우, 평균장 게임 접근법은 일致성 방정식에 대해 유일한 유계 해를 제공한다: (s(t), x̄(t)) ≡ (−P x̄₀, x̄₀).
• 행렬 쌍 [−B(R+DᵀPD)⁻¹BᵀP, −D(R+DᵀPD)⁻¹BᵀP] 가 안정할 때에만 평균제곱 수렴이 달성된다.
• R > 0 이고 ρ = 0 이면, 관련 행렬 쌍의 안정성으로 인해 시스템은 평균제곱 수렴을 보장받는다.
• 수치 결과는 다중성 소음 하에서 에이전트들이 수렴을 달성하는 반면, 동일한 시스템이 가우시안 소음 하에서는 그렇지 못함을 보여주며, 이는 동역학적 행동의 근본적 차이를 강조한다.
• 이 프레임워크는 제어에 의존하는 확산 항을 갖는 더 복잡한 다중성 소음 시스템을 고려한 평균장 게임 이론을 성공적으로 확장하였다.