[논문 리뷰] Network Aggregative Games and Distributed Mean Field Control via Consensus Theory

Francesca Parise, Sergio Grammatico외 2명|arXiv (Cornell University)|2015. 06. 25.

Opinion Dynamics and Social Influence참고 문헌 28인용 수 17

한 줄 요약

이 논문은 네트워크 내의 에이전트들이 자신의 전략과 이웃 에이전트 전략의 볼록 조합에 따라 제곱형 비용을 최소화하는 네트워크 집합형(NA) 게임을 제안한다. 약한 조건 하에서 수렴하는 분산형, 공감 기반 알고리즘을 제안하며, 중앙 조정자가 없이도 평균장 제어 해법을 복원할 수 있도록 프레임워크를 확장하여 스마트 그라이드나 의견 동역학 시스템과 같은 대규모 인구에서의 확장 가능한 조율을 가능하게 한다.

ABSTRACT

We consider network aggregative games to model and study multi-agent populations in which each rational agent is influenced by the aggregate behavior of its neighbors, as specified by an underlying network. Specifically, we examine systems where each agent minimizes a quadratic cost function, that depends on its own strategy and on a convex combination of the strategies of its neighbors, and is subject to personalized convex constraints. We analyze the best response dynamics and we propose alternative distributed algorithms to steer the strategies of the rational agents to a Nash equilibrium configuration. The convergence of these schemes is guaranteed under different sufficient conditions, depending on the matrices defining the cost and on the network. Additionally, we propose an extension to the network aggregative game setting that allows for multiple rounds of communications among the agents, and we illustrate how it can be combined with consensus theory to recover a solution to the mean field control problem in a distributed fashion, that is, without requiring the presence of a central coordinator. Finally, we apply our theoretical findings to study a novel multi-dimensional, convex-constrained model of opinion dynamics and a hierarchical demand-response scheme for energy management in smart buildings, extending literature results.

연구 동기 및 목표

• 쌍방향 상호작용이 아닌 네트워크 이웃의 집합 행동에 영향을 받는 합리적 에이전트 대규모 집단을 모델링하기 위해.
• 기존 집합형 게임의 계산 불가능성을 대규모 집단에서 해결하기 위해 네트워크 구조를 가진 집합 모델을 도입하기 위해.
• 중앙 조정자가 필요 없이 에이전트가 나슈 균형에 수렴할 수 있도록 분산형, 공감 기반 알고리즘을 개발하기 위해.
• 다중 라운드 통신 프로토콜을 통해 탈중앙화된 방식으로 평균장 제어 문제의 해를 복원할 수 있도록 프레임워크를 확장하기 위해.
• 볼록 제약 조건이 있는 스마트 빌딩의 에너지 수요 반응 및 의견 동역학과 같은 실제 문제에 이론적 결과를 적용하기 위해.

제안 방법

• 각 에이전트의 비용이 자신의 전략과 이웃 전략의 볼록 조합에 의존하는 네트워크 구조를 가진 집합자 모델을 사용하여 에이전트 상호작용을 모델링한다.
• 최적 반응 동역학을 분석하고, 최적 반응 동역학이 실패할 경우 수렴을 보장하는 메모리 기반 분산 업데이트 방식을 제안한다.
• 공감 이론을 적용하여 에이전트 간의 다중 라운드 통신을 가능하게 하여 중앙 집중식 조정 없이도 인구 수준의 집합값을 추정할 수 있도록 한다.
• 비용 함수와 네트워크 구조의 스펙트럼 성질을 기반으로 수렴 조건을 유도하기 위해 행렬 분석과 네트워크 인접 행렬의 스펙트럼 성질을 사용한다.
• 기존 평균장 및 집합형 게임에서의 스칼라 집합자와 일반화된 벡터값 집합자 함수를 도입한다.
• 변분부등식 이론과 단조성 성질(예: 강한 단조성, 비확장성, 견고한 비확장성 사상)을 사용하여 제안된 알고리즘의 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 제곱형 비용을 가진 네트워크 집합형 게임에서 최적 반응 동역학이 나슈 균형으로 수렴하는 조건은 무엇인가?
• RQ2 최적 반응 동역학이 실패할 경우, 수렴을 보장하는 분산형, 공감 기반 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 네트워크 에이전트 간의 다중 라운드 통신 프로토콜을 통해 탈중앙화된 방식으로 평균장 제어 문제의 해를 복원할 수 있는가?
• RQ4 네트워크 구조와 비용 함수의 구조가 제안된 분산 알고리즘의 수렴 성질에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크는 의견 동역학과 스마트 빌딩의 에너지 관리와 같은 실제 문제에 얼마나 널리 적용될 수 있는가?

주요 결과

• 비용 함수의 헤시안과 네트워크 행렬이 특정 스펙트럼 조건을 만족할 경우, 최적 반응 동역학이 나슈 균형으로 수렴함이 보장된다. 특히 네트워크의 두 번째로 큰 고유값이 충분히 작을 경우에 해당한다.
• 제안된 메모리 기반 분산 알고리즘은 최적 반응 동역학보다 더 약한 조건 하에서도 나슈 균형으로 수렴함이 보장되며, 이는 비용 함수의 헤시안의 정정규성과 네트워크의 연결성에 따라 달라진다.
• 다중 라운드 공감 통신을 통한 평균장 제어 해법의 근사 오차는 $ \varepsilon_{N, u} \leq K\left(\frac{1}{N} + \sqrt{N}\mu^{\nu}\right) $ 로 감소하며, 여기서 $ \mu < 1 $ 은 네트워크 행렬의 스펙트럼 갭이다.
• 비용 함수의 매개변수에 특정 조건이 만족될 경우, 제약 조건이 있는 최소화자 사상 $ x^{i\star} $ 는 견고한 비확장성(FNE) 또는 단조성(MON)임이 입증되어 수렴 보장을 가능하게 한다.
• 이 프레임워크는 다차원적, 볼록 제약 조건이 있는 의견 동역학 모델로 확장되었으며, 여기서 에이전트들은 이웃의 가중 평균과 개인적 편향에 따라 의견을 조정한다.
• 이 방법은 스마트 빌딩의 계층적 수요 반응 계획에 적용되어 탈중앙화되고 확장 가능한 방식으로 에너지 소비를 조율할 수 있음을 검증하였다.