[논문 리뷰] Distributed Nash Equilibrium Seeking by A Consensus Based Approach

Maojiao Ye, Guoqiang Hu|arXiv (Cornell University)|2016. 02. 02.

Distributed Control Multi-Agent Systems참고 문헌 34인용 수 10

한 줄 요약

이 논문은 비협력 게임에 대해 리더-팔로잉 공감 조율 프로토콜과 기울기 플레이를 조합한 분산 나시 균형 탐색 전략을 제안한다. 이는 놀이 참가자들이 오직 국부적 통신만을 통해 나시 균형에 수렴하도록 한다. 방법은 비제곱 게임에 대해 국부적 수렴을 보장하고, 약한 조건 하에서 제곱 게임에 대해 전역 지수 안정성을 확보한다.

ABSTRACT

In this paper, Nash equilibrium seeking among a network of players is considered. Different from many existing works on Nash equilibrium seeking in non-cooperative games, the players considered in this paper cannot directly observe the actions of the players who are not their neighbors. Instead, the players are supposed to be capable of communicating with each other via an undirected and connected communication graph. By a synthesis of a leader-following consensus protocol and the gradient play, a distributed Nash equilibrium seeking strategy is proposed for the non-cooperative games. Analytical analysis on the convergence of the players' actions to the Nash equilibrium is conducted via Lyapunov stability analysis. For games with non-quadratic payoffs, where multiple isolated Nash equilibria may coexist in the game, a local convergence result is derived under certain conditions. Then, a stronger condition is provided to derive a non-local convergence result for the non-quadratic games. For quadratic games, it is shown that the proposed seeking strategy enables the players' actions to converge to the Nash equilibrium globally under the given conditions. Numerical examples are provided to verify the effectiveness of the proposed seeking strategy.

연구 동기 및 목표

• 놀이 참가자들이 비이웃자의 행동을 직접 관측할 수 없는 비협력 게임에서 나시 균형 탐색을 해결한다.
• 완전한 통신의 한계를 극복하기 위해, 무방향이고 연결된 네트워크에서 오직 국부적, 이웃 간 통신만을 활용한다.
• 완전한 정보 없이도 놀이 참가자들이 상대방의 행동을 추정하고 나시 균형에 수렴할 수 있는 분산 알고리즘을 설계한다.
• 비제곱 게임에 대해 국부적 및 비국부적 수렴 보장을 확립하고, 제곱 게임에 대해 전역 수렴을 보장한다.
• 리아푸노프 분석을 사용해 안정성 결과를 분석하고, 수치 시뮬레이션을 통해 검증한다.

제안 방법

• 비이웃 놀이 참가자의 행동을 오직 국부적 통신만을 사용해 추정하기 위해 리더-팔로잉 공감 조율 프로토콜을 통합한다.
• 각 놀이 참가자는 가상의 리더 역할을 하여 자신의 행동을 방송함으로써 네트워크 전역에서 공감 추정치를 갱신한다.
• 추정된 행동을 기반으로 기울기 플레이 업데이트 규칙을 사용해 각 놀이 참가자의 전략을 균형 향해 반복적으로 조정한다.
• 공감과 기울기 플레이 성분을 조합한 미분방정식 시스템 (3)–(4)로 동역학을 모델링한다.
• 리아푸노프 안정성 분석을 적용해 수익 함수와 네트워크 구조에 대한 특정 가정 하에서 수렴을 증명한다.
• 국부적 수렴 조건(정리 1), 비국부적 수렴 조건(정리 2), 제곱 게임에 대한 전역 지수 안정성 조건(보조정리 2)을 유도한다.

실험 결과

연구 질문

• RQ1 놀이 참가자들이 오직 이웃과만 통신할 경우 비협력 게임에서 나시 균형을 달성할 수 있는가?
• RQ2 비제곱 수익 함수를 가진 게임에서 국부적 수렴을 보장하는 조건은 무엇인가?
• RQ3 비제곱 게임에서 비국부적 수렴을 보장하기 위해 어떤 더 강한 조건이 필요한가?
• RQ4 제안된 전략은 제곱 게임에서 전역 수렴을 보장하는가?
• RQ5 리더-팔로잉 공감과 기울기 플레이의 조합은 수렴 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 비제곱 게임에 대해 리아푸노프 안정성 분석을 통해 약한 가정 하에서 국부적 수렴이 증명된다.
• 비국부적 수렴을 달성하기 위한 더 강한 조건이 규명되었으며, 이는 안정 영역을 확장한다.
• 제곱 게임에 대해 제안된 전략은 주어진 조건 하에서 나시 균형의 전역 지수 안정성을 보장한다.
• 수치 시뮬레이션은 세 예제 모두에서 나시 균형 수렴을 확인한다: 근처의 초기 조건에서의 국부적 수렴, 먼 초기 상태에서의 비국부적 수렴, 제곱 게임에서의 전역 수렴.
• 예제 3에서 나시 균형은 전역적으로 지수적으로 안정적이며, 초기 조건이 -10에서부터 [2.0147, 6.7766, 11.5385, 16.3004, 21.0623]T로 수렴한다.
• 초기 조건이 균형에서 멀리 떨어져 있어도 방법이 강인함을 예제 2에서 입증하였으며, 초기 값이 20이었던 경우에도 수렴이 발생한다.