[논문 리뷰] Distributed Nash Equilibrium Seeking Algorithm Design for Multi-Cluster Games with High-Order Players

Zhenhua Deng, Yangyang Liu|arXiv (Cornell University)|2021. 06. 25.

Distributed Control Multi-Agent Systems참고 문헌 30인용 수 6

한 줄 요약

이 논문은 고차수 다중 에이전트 시스템을 포함하는 다중 클러스터 게임에 대해 분산 나이시 균형 탐색 알고리즘을 제안한다. 여기서 플레이어들은 복잡한 동역학을 가지며, 오직 이웃 플레이어들과의 국소적 정보 공유만 가능하다. 경사 하강법과 상태 피드백, 분산 추정기를 조합함으로써, 알고리즘은 나이시 균형으로의 지수 수렴을 보장하며, 이는 이전 방법들이 일阶 또는 이阶 동역학을 가정하거나 전체 정보 공유를 요구한다는 한계를 극복한다.

ABSTRACT

In this paper, a multi-cluster game with high-order players is investigated. Different from the well-known multi-cluster games, the dynamics of players are taken into account in our problem. Due to the high-order dynamics of players, existing algorithms for multi-cluster games cannot solve the problem. For purpose of seeking the Nash equilibrium of the game, we design a distributed algorithm based on gradient descent and state feedback, where a distributed estimator is embedded for the players to estimate the decisions of other players. Furthermore, we analyze the exponential convergence of the algorithm via variational analysis and Lyapunov stability theory. Finally, a numerical simulation verifies the effectiveness of our method.

연구 동기 및 목표

• 기존의 다중 클러스터 게임 알고리즘이 고차수 플레이어 동역학을 처리하지 못하는 격차를 해소하기 위해.
• 플레이어들이 오직 이웃과의 정보 교환만을 통해 작동하는 분산 알고리즘을 설계하여 전체 정보 공유를 피하기 위해.
• 고차수 시스템 동역학의 복잡성에도 불구하고 나이시 균형으로의 지수 수렴을 보장하기 위해.
• 클러스터 내 분산 최적화와 클러스터 간 비협력 게임 역학을 통합하여 기존 프레임워크를 확장하기 위해.
• 전력망과 로봇 네트워크와 같은 고차수 에이전트를 가진 사이버-물리 시스템에 대해 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 플레이어의 결정을 국소적 정보 기반으로 업데이트하기 위해 경사 하강법과 상태 피드백을 사용하는 분산 알고리즘을 설계하였다.
• 각 플레이어가 이웃의 정보만을 사용하여 다른 플레이어의 결정을 추정할 수 있도록 분산 추정기를 통합하였다.
• 각 플레이어의 상태의 네 번째 도함수가 제어 입력과 같아지는 고차수 동역학 모델을 사용하여 알고리즘을 수립하였다.
• 변분 분석 및 라플라스 안정성 이론을 통해 수렴 분석을 수행하여 지수 수렴을 입증하였다.
• 고정된 통신 토폴로지 하에 3개의 클러스터로 구성된 다중 클러스터 게임 환경에서 알고리즘을 구현하였다.
• 안정성과 수렴성을 확보하기 위해 특정 이득(k1=1, k2=2, k3=1, ε=3.71, κ1=0.05, κ2=386)을 사용하여 파rameter 튜닝을 수행하였다.

실험 결과

연구 질문

• RQ1 고차수 플레이어를 가진 다중 클러스터 게임에 대해 나이시 균형으로의 지수 수렴을 보장하는 분산 알고리즘을 설계할 수 있는가?
• RQ2 고차수 다중 에이전트 시스템에서 플레이어들이 오직 이웃의 국소적 정보만을 사용하여 다른 플레이어의 결정을 어떻게 추정할 수 있는가?
• RQ3 기존의 다중 클러스터 게임 알고리즘에 고차수 동역학을 통합하기 위해 어떤 수정이 필요한가?
• RQ4 기존 방법과 비교할 때 제안된 알고리즘의 수렴 속도와 통신 효율성은 어떠한가?
• RQ5 고차수 동역학이 존재하는 조건에서 알고리즘이 지수 수렴을 보장하는 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 이전 연구에서 관찰된 점근적 수렴과 달리 나이시 균형으로의 지수 수렴을 보장한다.
• 동일 클러스터 내 플레이어들이 동일한 결정으로 수렴함으로써 내부 클러스터 협력의 효과가 입증된다.
• 오직 이웃 간 정보 교환만으로도 수렴이 달성되며, 제한된 통신 환경에서도 유효하다.
• 수치 시뮬레이션을 통해 모든 플레이어의 결정이 나이시 균형으로 수렴하는 것으로 확인되었으며, 그림 2에 나타내었다.
• 제안된 알고리즘은 제4차 시스템과 같은 복잡한 고차수 동역학을 가진 플레이어에게도 효과적으로 작용한다.
• 상태 피드백과 분산 추정기를 통해 수렴 속도가 향상되었으며, 이는 추정 정확도와 안정성 향상에 기여한다.