[논문 리뷰] Prescribed-Time Fully Distributed Nash Equilibrium Seeking in Noncooperative Games

Zhi Feng, Guoqiang Hu|arXiv (Cornell University)|2020. 09. 22.

Extremum Seeking Control Systems참고 문헌 28인용 수 8

한 줄 요약

이 논문은 의사-기울기 플레이와 공감 기반 동역학을 사용하여 연속시간 비협력 게임에 대해 사전 지정된 시간 내에 완전히 분산된 내쉬 균형(Nash equilibrium, NE) 탐색 알고리즘을 제안한다. 이론적으로 이 방법은 이질적인 동적 이득과 시간 함수 변환을 도입함으로써, 전역 정보나 고정된 그래프 구조 없이도 사용자가 정의한 시간 내에 전역 수렴을 보장한다. 이는 공동으로 스위칭되는 통신 그래프 조건 하에서도 성립한다.

ABSTRACT

In this paper, we investigate a prescribed-time and fully distributed Nash Equilibrium (NE) seeking problem for continuous-time noncooperative games. By exploiting pseudo-gradient play and consensus-based schemes, various distributed NE seeking algorithms are presented over either fixed or switching communication topologies so that the convergence to the NE is reached in a prescribed time. In particular, a prescribed-time distributed NE seeking algorithm is firstly developed under a fixed graph to find the NE in a prior-given and user-defined time, provided that a static controller gain can be selected based on certain global information such as the algebraic connectivity of the communication graph and both the Lipschitz and monotone constants of the pseudo-gradient associated with players' objective functions. Secondly, a prescribed-time and fully distributed NE seeking algorithm is proposed to remove global information by designing heterogeneous dynamic gains that turn on-line the weights of the communication topology. Further, we extend this algorithm to accommodate jointly switching topologies. It is theoretically proved that the global convergence of those proposed algorithms to the NE is rigorously guaranteed in a prescribed time based on a time function transformation approach. In the last, numerical simulation results are presented to verify the effectiveness of the designs.

연구 동기 및 목표

• 기존의 분산된 NE 탐색 알고리즘은 일반적으로 점근적 또는 지수적 수렴을 보이지만, 사전 지정된 시간 내 수렴을 보장하지 못하는 점을 보완한다.
• 이전 연구에서 흔히 사용되는 전역 정보—예: 대수적 연결성, 리프시츠 상수, 단조성 매개변수—에 대한 의존도를 제거한다.
• 플레이어 수, 그래프 연결성, 기울기 성질에 대한 지식 없이도 작동하는 완전히 분산된 알고리즘을 설계한다.
• 알고리즘을 공동으로 스위칭되는 통신 그래프로 확장하여 동적 네트워크에서의 실용적 적용성을 높인다.
• 수렴 시간을 사전에 지정하고 초기 조건이나 알고리즘 파라미터에 영향을 받지 않도록 보장함으로써 작업에 맞는 타이밍 제어를 가능하게 한다.

제안 방법

• 플레이어의 전략을 국소 또는 상대 정보 기반으로 업데이트하기 위해 의사-기울기 플레이를 활용한다.
• 국소 통신을 통해 다른 플레이어의 행동을 추정하기 위해 공감 기반 동역학을 통합한다.
• 고정된 전역 매개변수에 의존하는 정적 이득을 대체하기 위해 시간에 따라 변하는 이질적인 동적 이득을 도입한다.
• 무한 시간 동역학을 유한 시간 수렴으로 변환하기 위해 시간 함수 변환 기법을 적용함으로써 사전 지정된 시간 수렴을 확보한다.
• 통신 그래프가 시간에 따라 스위칭하는 상황에서도 수렴을 보장하기 위해 동적 이득 갱신 법칙을 설계한다.
• 다양한 고정된 그래프를 정의하는 스위칭 신호를 사용하여, 시간에 따라 공동으로 연결된 조건을 만족시킨다.

실험 결과

연구 질문

• RQ1 초기 조건이나 알고리즘 파라미터에 영향을 받지 않고 사용자가 정의한 유한 시간 내에 수렴하는 분산된 NE 탐색 알고리즘이 가능한가?
• RQ2 알고리즘에서 대수적 연결성, 리프시츠 상수, 단조성 매개변수와 같은 전역 정보 의존도를 제거하는 것이 가능한가?
• RQ3 스위칭되는 그래프 구조 조건 하에서 사전 지정된 시간 내에 완전히 분산된 수렴을 달성하기 위해 동적 이득을 어떻게 설계할 수 있는가?
• RQ4 개별 그래프가 비연결일 수 있는 공동으로 스위칭되는 통신 그래프 조건 하에서도 알고리즘이 여전히 수렴하는가?
• RQ5 비제곱형, 비선형 목적 함수가 제안된 알고리즘의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 초기 상태나 알고리즘 파라미터에 영향을 받지 않고 사용자가 정의한 유한 시간 내에 내쉬 균형(Nash equilibrium)으로 전역 수렴을 달성한다.
• 고정된 그래프뿐 아니라 공동으로 스위칭되는 통신 그래프 조건 하에서도 수렴이 보장되며, 개별 그래프가 비연결일 경우에도 성립한다.
• 동적 이득 메커니즘이 전역 정보에 기반한 정적 이득이 필요 없게 하여 완전한 분산성을 실현한다.
• 수치 시뮬레이션을 통해 플레이어의 전략이 사전 지정된 시간 내에 NE로 수렴하고 상대 오차가 0으로 감소하는 것을 확인하였다.
• 비제곱형 게임에 대해서도 알고리즘이 효과적으로 작동함을 입증하였으며, 스위칭되는 그래프 조건 하에서 $ x^* = \text{col}(-4.6589, 4.1589, 0, -2, 2.5) $ 에 수렴하는 것으로 나타났다.
• 동적 이득이 시간이 지남에 따라 일정한 값으로 수렴함을 통해 적응 과정의 안정성이 입증되었다.