[논문 리뷰] Distributed Nash Equilibrium Seeking over Time-Varying Directed Communication Networks

Duong Thuy Anh Nguyen, Duong Tung Nguyen외 1명|arXiv (Cornell University)|2022. 01. 07.

Mathematical and Theoretical Epidemiology and Ecology Models인용 수 11

한 줄 요약

이 논문은 시간에 따라 변화하는 방향성 있는 통신 네트워크에서 국소 정보와 행-스토하스틱 혼합 행렬만을 사용하여 비협력 볼록 게임에서 내쉬 균형(Nash equilibrium)을 구하는 분산 그래디언트 플레이 알고리즘을 제안한다. 강한 볼록성과 리프시츠 연속 기울기 조건 하에서 기하수렴을 보장하며, 균형 행렬이나 전반적인 네트워크 지식에 의존하지 않는 새로운 수축 분석 기법을 도입한다.

ABSTRACT

This paper proposes a distributed algorithm to find the Nash equilibrium in a class of non-cooperative convex games with partial-decision information. Our method employs a distributed projected gradient play approach alongside consensus dynamics, with individual agents minimizing their local costs through gradient steps and local information exchange with neighbors via a time-varying directed communication network. Addressing time-varying directed graphs presents significant challenges. Existing methods often circumvent this by focusing on static graphs or specific types of directed graphs or by requiring the stepsizes to scale with the Perron-Frobenius eigenvectors. In contrast, we establish novel results that provide a contraction property for the mixing terms associated with time-varying row-stochastic weight matrices. Our approach explicitly expresses the contraction coefficient based on the characteristics of the weight matrices and graph connectivity structures, rather than implicitly through the second-largest singular value of the weight matrix as in prior studies. The established results facilitate proving geometric convergence of the proposed algorithm and advance convergence analysis for distributed algorithms in time-varying directed communication networks. Numerical results on a Nash-Cournot game demonstrate the efficacy of the proposed method.

연구 동기 및 목표

• 다른 이의 행동에 대한 정보가 부분적으로만 제공되는 비협력 게임에서 분산 내쉬 균형(NE) 탐색의 과제를 해결한다.
• 이전 방법들이 균형 잡힌 혼합 행렬 또는 네트워크 구조의 전반적 지식(예: 페로-프로베니우스 고유벡터)을 요구하는 한계를 극복한다.
• 실현 가능한 행-스토하스틱 혼합 행렬 가정을 기반으로 시간에 따라 변화하는 방향성 그래프에서도 수렴 가능하도록 보장한다.
• 행-스토하스틱성 하에서 혼합 항의 수축 결과를 새롭게 도출하여, 수축 상수를 네트워크의 연결성과 행렬 특성과 직접적으로 연결한다.
• 강한 볼록성과 리프시츠 연속 기울기 조건 하에서 내쉬 균형으로의 기하수렴을 보장하여 빠른 수렴 속도를 확보한다.

제안 방법

• 각 에이전트가 자신의 기울기와 이웃 에이전트로부터의 국소 정보만을 사용하여 국소 비용 함수를 최소화하는 이산 시간 분산 그래디언트 플레이 알고리즘을 제안한다.
• 시간에 따라 변화하는 방향성 네트워크에서의 정보 교환을 행-스토하스틱 혼합 행렬로 모델링하여, 전반적 네트워크 지식 없이 국소 평균화를 보장한다.
• 공동 전략 프로파일에 대한 에이전트의 추정치를 동기화하기 위해 공감 동역학을 통한 의사결정 추정 정렬 메커니즘을 도입한다.
• 혼합 항에 대한 새로운 수축 부등식을 유도하여, 공감 오차가 네트워크의 연결성과 행렬 구조에 따라 기하수렴함을 보여준다.
• 강한 볼록성과 리프시츠 기울기 조건 하에서 변분부등식 이론과 게임 매핑의 강한 단조성에 기반한 수렴 분석을 수행한다.
• 상태 공간 최적화 방법과의 비교를 통해 나시-커너 게임 모델에서 알고리즘 성능을 검증하며, 반복 횟수, 런타임, 수렴 정확도 측면에서 평가한다.

실험 결과

연구 질문

• RQ1 균형 잡힌 혼합 행렬이나 전반적 네트워크 정보가 없이도 시간에 따라 변화하는 방향성 네트워크에서 분산 내쉬 균형 탐색 알고리즘이 기하수렴할 수 있는가?
• RQ2 행-스토하스틱 혼합 행렬은 방향성이고 시간에 따라 변화하는 그래프에서 공감과 수렴을 어떻게 가능하게 하는가?
• RQ3 행-스토하스틱성 하에서 혼합 항의 수축 행동은 네트워크 연결성과 행렬 특성 측면에서 어떻게 특성화될 수 있는가?
• RQ4 동적 통신 토폴로지에 적용했을 때, 제안된 알고리즘이 기존 방법보다 계산 효율성과 수렴 속도에서 뛰어나게 성능을 발휘하는가?
• RQ5 국소 정보와 강한 볼록성, 리프시츠 기울기 조건과 같은 온건한 가정만으로도 기하수렴을 보장할 수 있는가?

주요 결과

• 제안된 알고리즘은 네트워크 구조에 대한 전반적 지식 없이도 시간에 따라 변화하는 방향성 네트워크에서 내쉬 균형으로 기하수렴을 달성한다.
• 행-스토하스틱 혼합 행렬에 대해 새로운 수축 결과를 확립하였으며, 수축 상수는 네트워크의 연결성과 행렬 특성에 명시적으로 표현된다.
• 상태 공간 최적화 방법 [5, Alg. 1]보다 수렴 속도와 계산 효율성 측면에서 뛰어나며, 반복 횟수와 런타임이 모두 적게 소요된다.
• α = 0.0005 조건 하에서 1000회의 시뮬레이션 결과, 알고리즘 1은 평균 10,404회의 반복과 4.62초의 런타임을 기록했고, [5, Alg. 1]은 25,358회의 반복과 29.59초의 런타임을 기록했다.
• 동적 토폴로지 조건에서도 수렴 오차 ∥xᵏ−x*∥∞ < 1.0×10⁻⁵ 를 유지하며 빠른 수렴을 유지한다.
• 각 반복에서 페로-프로베니우스 고유벡터를 계산하는 계산 비용이 높은 단계를 피함으로써, 반복당 비용을 크게 감소시켰다.