[논문 리뷰] Gradient-Tracking over Directed Graphs for solving Leaderless Multi-Cluster Games

Jan Zimmermann, Tatiana Tatarenko외 2명|arXiv (Cornell University)|2021. 02. 18.

Distributed Control Multi-Agent Systems참고 문헌 15인용 수 6

한 줄 요약

이 논문은 방향성 있는 통신 그래프 위에서 리더 없는 다중 클러스터 게임을 해결하기 위해 분산형 이산 시간 경사 추적 알고리즘을 제안한다. 클러스터 내에서 에이전트들이 공동으로 경사를 추적하고 클러스터 간에 결정을 교환함으로써, 국소적 사회후생 최적성도 만족하는 나시 균형으로 선형 수렴을 달성한다. 이는 이전의 리더-팔로워 및 무방향 그래프 접근 방식을 일반화한다.

ABSTRACT

We are concerned with finding Nash Equilibria in agent-based multi-cluster games, where agents are separated into distinct clusters. While the agents inside each cluster collaborate to achieve a common goal, the clusters are considered to be virtual players that compete against each other in a non-cooperative game with respect to a coupled cost function. In such scenarios, the inner-cluster problem and the game between the clusters need to be solved simultaneously. Therefore, the resulting inter-cluster Nash Equilibrium should also be a minimizer of the social welfare problem inside the clusters. In this work, this setup is cast as a distributed optimization problem with sparse state information. Hence, critical information, such as the agent's cost functions, remain private. We present a distributed algorithm that converges with a linear rate to the optimal solution. Furthermore, we apply our algorithm to an extended cournot game to verify our theoretical results.

연구 동기 및 목표

• 클러스터 간에 비협력적으로 경쟁하고, 클러스터 내에서 에이전트들이 공동비용을 최소화하기 위해 협력하는 다중 클러스터 게임을 해결하기 위해.
• 개별 비용 함수의 기밀성을 유지하면서 희소하고 국소적인 통신으로 작동하는 분산 알고리즘을 설계하기 위해.
• 기존의 경사 기반 방법을 무방향 또는 리더-팔로워 아키텍처를 초월해 방향성 있는 통신 그래프로 확장하기 위해.
• 이산 시간에서 선형 수렴 속도를 달성하여 더 느린 또는 연속 시간 대안을 향상시키기 위해.
• 다양한 공장과 기업을 포함한 확장된 쿠르노 게임의 시뮬레이션을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 에이전트들은 각각 지역적 결정 추정을 위한 변수와 클러스터 내 경사 추적을 위한 변수를 유지한다.
• 알고리즘은 일정한 스텝 사이즈를 사용하여 감소하는 스텝 사이즈 방법보다 더 빠른 수렴을 가능하게 한다.
• 클러스터 간 통신은 방향성 있는 그래프로 모델링되어, 각 클러스터에 여러 에이전트가 외부로 통신할 수 있도록 한다.
• 수렴성을 증명하기 위해 업데이트 동역학을 선형 시간 불변 상태공간 시스템으로 근사한다.
• 경사 추적을 통해 에이전트들은 클러스터 간 연결된 비용 함수의 총합 경사를 추정할 수 있다.
• 알고리즘은 결정에 대한 공감대 형성이 나시 균형과 국소적 사회후생 최적성과 동시에 달성되도록 보장한다.

실험 결과

연구 질문

• RQ1 리더 없는 다중 클러스터 게임 환경에서 분산 알고리즘이 나시 균형으로 선형 수렴을 달성할 수 있는가?
• RQ2 경사 추적 기법을 다중 클러스터 게임에서 방향성 있는 통신 그래프에 어떻게 적용할 수 있는가?
• RQ3 알고리즘이 동시에 클러스터 간 나시 균형과 클러스터 내 사회후생 최적성을 만족시킬 수 있는가?
• RQ4 수렴 속도와 통신 구조 측면에서 리더-팔로워 아키텍처에 비해 성능가능성이 어떻게 다른가?
• RQ5 방향성 있는 통신이 수렴성과 알고리즘의 강건성에 어떤 영향을 미치는가?

주요 결과

• 표준 가정, 즉 게임 매핑의 강한 단조성 조건 하에서 알고리즘이 최적 해로 선형 수렴한다.
• 300회 반복 이내에 에이전트 간 결정에 대한 공감대가 형성되었으며, 모든 차원에서 에이전트의 추정치 간 절대 차이가 1.90×10⁻³ 이하였다.
• 300회 반복 후 에이전트의 추정치와 진짜 나시 균형 상태 간의 노름 오차는 ǫ = ||x₁ − x*||₂ = 0.005였다.
• 동일한 스텝 사이즈로 동일한 정확도를 달성했을 때, 리더-팔로워 방법(500회 반복) 대비 더 적은 반복 수(300회 반복)로 수렴했으며, 이는 더 빠른 수렴을 의미한다.
• 제안된 방법은 임의의 방향성 있는 통신 토폴로지가 허용되므로, 기존의 리더-팔로워 및 무방향 그래프 접근 방식을 일반화한다.
• 확장된 쿠르노 게임의 시뮬레이션을 통해 해가 클러스터 간 나시 균형과 클러스터 내 사회후생 최적성을 동시에 만족하는 것으로 확인되었다.