[논문 리뷰] Adaptive Approaches for Fully Distributed Nash Equilibrium Seeking in Networked Games

Maojiao Ye, Guoqiang Hu|arXiv (Cornell University)|2019. 12. 01.

Distributed Control Multi-Agent Systems참고 문헌 10인용 수 5

한 줄 요약

이 논문은 다중 에이전트 네트워크 게임을 위한 두 가지 완전히 분산형 내쉬 균형 탐색 전략—노드 기반 및 에지 기반 적응 제어 법칙—을 제안한다. 일관성 오차(노드 기반) 또는 통신 그래프 간선(에지 기반)에 대한 가중치를 적응적으로 조정함으로써, 중심화된 파rameter에 의존하지 않도록 하여, 강한 단조성 가짜 기울기와 연결된 무방향 통신 그래프를 포함한 온건한 조건 하에서 내쉬 균형으로의 전역 점근적 수렴을 보장한다.

ABSTRACT

This paper considers the design of fully distributed Nash equilibrium seeking strategies for multi-agent games. To develop fully distributed seeking strategies, two adaptive control laws, including a node-based control law and an edge-based control law, are proposed. In the node-based adaptive strategy, each player adjusts their own weight on their procurable consensus error dynamically. Moreover, in the edge-based algorithm, the fully distributed strategy is designed by adjusting the weights on the edges of the communication graph adaptively. By utilizing LaSalle's invariance principle, it is shown that the Nash equilibrium is globally asymptotically stable by both strategies given that the players' objective functions are twice-continuously differentiable, the partial derivatives of the players' objective functions with respect to their own actions are globally Lipschitz, the pseudo-gradient vector of the game is strongly monotone and the communication network is undirected and connected. In addition, we further show that the edge-based method can be easily adapted to accommodate time-varying communication conditions, in which the communication network is switching among a set of undirected and connected graphs. In the last, a numerical example is given to illustrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 전체 네트워크 정보에 의존하는 중심화된 제어 이득이 필요한 기존 일관성 기반 내쉬 균형 탐색 방법의 한계를 해결하기 위해.
• 제어 이득이 개별 에이전트가 공유되거나 중심화된 지식 없이 스스로 조정할 수 있는 완전히 분산형 알고리즘을 개발하기 위해.
• 교환 가능한 통신 토폴로지에서의 네트워크 변화에 대한 내성적 적응 능력을 확보하기 위해.
• 표준 게임 이론적 가정 하에서 라플라스 안정성과 라살의 불변성 원리를 사용한 수렴 이론적 검증.

제안 방법

• 각 플레이어가 자신의 일관성 오차에 대한 가중치를 국소 정보를 사용해 동적으로 조정하는 노드 기반 적응 제어 법칙을 제안한다.
• 국소 오차 동역학을 기반으로 통신 간선의 가중치를 갱신하는 에지 기반 적응 제어 법칙을 도입하여, 완전히 분산된 조율을 가능하게 한다.
• 라플라스 기반 안정성 분석과 라살의 불변성 원리를 사용하여 내쉬 균형의 전역 점근적 안정성을 증명한다.
• 일관된 무방향 통신 그래프의 유한한 집합 간 전환을 允허하는 방식으로 에지 기반 방법을 시간 변화하는 네트워크로 확장한다.
• 리프시츠 상수, 네트워크 크기, 전역 토폴로지에 대한 지식이 필요 없도록 알고리즘을 설계하여 플러그 앤 플레이 기능을 보장한다.
• 고정된 단일 섭동 파rameter 대신 적응형 이득을 갖는 이중 시간 스케일 구조를 사용하여 중심화된 튜닝을 피한다.

실험 결과

연구 질문

• RQ1 중앙화된 제어 이득이나 전체 네트워크 정보에 의존하지 않고도 완전히 분산형 내쉬 균형 탐색이 가능할 수 있는가?
• RQ2 각 에이전트가 국소 정보만으로 스스로 전략을 조정할 수 있도록 적응형 제어 법칙을 어떻게 설계할 수 있는가?
• RQ3 네트워크 구조가 시간에 따라 변화하는 교환 가능한 통신 토폴로지 상황에서도 제안된 방법이 수렴을 유지할 수 있는가?
• RQ4 가짜 기울기가 강한 단조성이고 목적 함수들이 미분 가능할 경우, 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 노드 기반 및 에지 기반 적응 전략은 수렴 행동과 네트워크 동역학에 대한 내성적 적응 능력 측면에서 어떻게 비교될 수 있는가?

주요 결과

• 이중 연속 미분 가능한 목적 함수, 전역 리프시츠 부분 도함수, 강한 단조성 가짜 기울기의 가정 하에서 노드 기반 적응 전략은 내쉬 균형으로의 전역 점근적 수렴을 달성한다.
• 에지 기반 적응 전략은 전역 점근적 안정성을 보장하며, 네트워크가 유한한 수의 무방향 연결 그래프 간 전환 가능한 경우에도 확장 가능하여 수렴을 유지한다.
• 수치 시뮬레이션은 두 전략 모두 플레이어의 상태가 내쉬 균형으로 수렴함을 확인하며, 모든 시나리오에서 $x_{i1}$ 및 $x_{i2}$의 궤적은 균형점으로 수렴한다.
• 에지 기반 방법의 적응 가중치 $c_{ij}$ 및 $ar{c}_{ij}$는 유한하고 영이 아닌 값으로 수렴하여, 발산 없이 안정적인 적응이 이루어짐을 나타낸다.
• 모든 에이전트에서 일관성 오차 변수 $y_{ij1}$ 및 $y_{ij2}$는 균형점으로 수렴하여, 추정된 정보가 진정한 내쉬 균형과 일치함을 검증한다.
• 이전 연구들이 균형 주변으로 수렴하는 데 그쳤던 것과 달리, 제안된 방법은 조정되거나 중심화된 제어 이득이 필요 없이 내쉬 균형으로 정확한 수렴을 달성한다.