[논문 리뷰] On the linear convergence of distributed Nash equilibrium seeking for multi-cluster games under partial-decision information

Min Meng, Xiuxian Li|arXiv (Cornell University)|2020. 05. 14.

Distributed Control Multi-Agent Systems참고 문헌 32인용 수 12

한 줄 요약

이 논문은 부분 결정 정보 하에서 다중 클러스터 게임에서 나시 균형(Nash equilibrium, NE)을 구하는 데 위해 이산 시간 분산 투영 경사 추적 알고리즘(DPGT)을 제안한다. 여기서 클러스터 내의 에이전트들은 협력하고 클러스터 간에는 경쟁한다. 이 알고리즘은 국소 정보와 클러스터 간 및 클러스터 내 통신를 통해 약한 조건 하에서 가중 페로노비우스 노름과 유클리드 노름을 사용하여 선형 수렴을 보장한다.

ABSTRACT

This paper considers the distributed strategy design for Nash equilibrium (NE) seeking in multi-cluster games under a partial-decision information scenario. In the considered game, there are multiple clusters and each cluster consists of a group of agents. A cluster is viewed as a virtual noncooperative player that aims to minimize its local payoff function and the agents in a cluster are the actual players that cooperate within the cluster to optimize the payoff function of the cluster through communication via a connected graph. In our setting, agents have only partial-decision information, that is, they only know local information and cannot have full access to opponents' decisions. To solve the NE seeking problem of this formulated game, a discrete-time distributed algorithm, called distributed gradient tracking algorithm (DGT), is devised based on the inter- and intra-communication of clusters. In the designed algorithm, each agent is equipped with strategy variables including its own strategy and estimates of other clusters' strategies. With the help of a weighted Fronbenius norm and a weighted Euclidean norm, theoretical analysis is presented to rigorously show the linear convergence of the algorithm. Finally, a numerical example is given to illustrate the proposed algorithm.

연구 동기 및 목표

• 다중 클러스터 게임에서 부분 결정 정보 하에 나시 균형(NE) 탐색을 위한 이산 시간 알고리즘에 대한 격차를 보완한다.
• 클러스터 내 에이전트들이 공동의 수익을 최적화하기 위해 협력하는 시나리오를 모델링하고, 클러스터는 가상의 경쟁 플레이어로 작용한다.
• 중앙 조정자에 의존하지 않고 국소 정보만을 사용하는 분산 알고리즘을 설계한다.
• 약한 가정 하에서 제안된 알고리즘이 선형 수렴함을 입증하여 실용적 구현 가능성을 확보한다.
• 가중 행렬 노름을 사용하여 수렴 속도와 안정성 분석을 위한 이론적 보장을 제공한다.

제안 방법

• 각 에이전트가 자신의 전략과 다른 클러스터의 전략 추정치를 유지하는 이산 시간 분산 투영 경사 추적 알고리즘(DPGT)을 제안한다.
• 연결된 네트워크를 통한 클러스터 간 통신과 동일 클러스터 내 에이전트 간 연결된 그래프를 통한 클러스터 내 통신를 통합한다.
• 알고리즘의 수렴 행동을 분석하기 위해 가중 페로노비우스 노름과 가중 유클리드 노름을 사용한다.
• 제약 조건을 만족하기 위해 경사 추적과 국소 타당 전략 집합 위로의 투영을 조합한 업데이트 규칙을 설계한다.
• 실레스터의 기준과 대각 우세성 분석을 통해 행렬 스펙트럼 반경 분석을 활용하여 수렴 조건을 확립한다.
• 리아푸노프 유사 함수와 재귀적 오차 경계를 활용하여 단순한 스텝 사이즈 및 네트워크 연결성 조건 하에서 선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 부분 결정 정보 하에서 다중 클러스터 게임의 나시 균형(NE) 탐색을 위한 이산 시간 분산 알고리즘이 선형 수렴을 달성할 수 있는가?
• RQ2 클러스터 내 에이전트들은 국소 통신를 통해 어떻게 상호 협력하여 클러스터의 수익 함수를 추정하고 최적화할 수 있는가?
• RQ3 스텝 사이즈와 네트워크 토폴로지에 어떤 조건이 선형 수렴을 보장하는가?
• RQ4 분산 다중 클러스터 환경에서 경사 추적을 투영 기반 업데이트와 어떻게 통합할 수 있는가?
• RQ5 표준 노름 대신 가중 행렬 노름을 사용하여 이론적 수렴 보장을 확립할 수 있는가?

주요 결과

• 제안된 DPGT 알고리즘은 기울기의 리프시츠 연속성과 국소 비용 함수의 강한 볼록성 등의 약한 가정 하에서 나시 균형으로 선형 수렴을 달성한다.
• 전략 추정 오차에 대해 가중 페로노비우스 노름, 기울기 추적 오차에 대해 가중 유클리드 노름을 사용하여 선형 수렴이 엄밀히 증명된다.
• 스텝 사이즈 α가 스펙트럼 반경 조건으로 유도된 стрict upper bound를 만족할 경우 알고리즘이 선형 수렴한다: α < min{ n/(4μ), 1/(√2(1+σ)L), √2σ²/((1−σ)L), (1−σ²)/(3√2σL), 2μ(1−σ)/(3nL²), √(2(1−σ²))/(√3 L) }.
• 수렴 속도는 유도된 스텝 사이즈 조건 하에서 스펙트럼 반경이 1보다 작은 구성된 행렬 Mα에 의해 결정된다.
• 코르누 경쟁 게임에 대한 수치 결과는 선형 수렴과 DPGT 알고리즘의 실용적 효과를 검증한다.
• 이론적 프레임워크는 이전의 연속 시간 접근을 이산 시간으로 확장하여 통신이 제한된 실제 다중 에이전트 시스템에서의 구현을 더 쉽게 만들 수 있다.