[논문 리뷰] Gradient-Free Nash Equilibrium Seeking in N-Cluster Games with Uncoordinated Constant Step-Sizes

Yipeng Pang, Guoqiang Hu|arXiv (Cornell University)|2020. 08. 30.

Extremum Seeking Control Systems참고 문헌 56인용 수 10

한 줄 요약

이 논문은 에이전트가 국부 비용 함수의 명시적 기울기를 접근할 수 없지만 함수 값을 측정할 수 있는 N클러스터 비협력 게임에 대해 기울기 자유형 내쉬 균형(Nash equilibrium, NE) 탐색 알고리즘을 제안한다. 가우시안 스무딩과 기울기 추적을 조합함으로써, 클러스터 간 독립적인 일정한 스텝 사이즈를 허용하며, 강한 단조성 조건 하에서 유일한 NE의 이웃으로 선형 수렴을 달성한다. 이론적 오차는 가장 큰 스텝 사이즈와 스무딩 파라미터에 비례한다.

ABSTRACT

This work investigates a problem of simultaneous global cost minimization and Nash equilibrium seeking, which commonly exists in $N$-cluster non-cooperative games. Specifically, the agents in the same cluster collaborate to minimize a global cost function, being a summation of their individual cost functions, and jointly play a non-cooperative game with other clusters as players. For the problem settings, we suppose that the explicit analytical expressions of the agents' local cost functions are unknown, but the function values can be measured. We propose a gradient-free Nash equilibrium seeking algorithm by a synthesis of Gaussian smoothing techniques and gradient tracking. Furthermore, instead of using the uniform coordinated step-size, we allow the agents across different clusters to choose different constant step-sizes. When the largest step-size is sufficiently small, we prove a linear convergence of the agents' actions to a neighborhood of the unique Nash equilibrium under a strongly monotone game mapping condition, with the error gap being propotional to the largest step-size and the smoothing parameter. The performance of the proposed algorithm is validated by numerical simulations.

연구 동기 및 목표

• 에이전트가 국부 비용 함수의 명시적 기울기를 접근할 수 없는 N클러스터 비협력 게임에서 내쉬 균형 탐색 문제를 해결하기 위해.
• 분산 알고리즘을 개발하여 분석 정보가 제한된 시스템에서 실용적으로 구현 가능하도록 하기 위해.
• 다른 클러스터에 속한 에이전트들이 각자 독립적으로 일정한 스텝 사이즈를 선택할 수 있도록 하여 조율 오버헤드를 줄이기 위해.
• 비협력적 스텝 사이즈 선택과 기울기 자유 조건 하에서 수렴 보장을 확립하고, 오차 한계를 정량화하기 위해.
• 연결성 제어 게임에 대한 수치 시뮬레이션을 통해 알고리즘 성능을 검증하기 위해.

제안 방법

• 분석적 표현이 없는 경우 기울기 추정을 위해 가우시안 스무딩을 통합하여 기울기 자유 최적화를 가능하게 한다.
• 게임 매핑의 진짜 기울기를 추정하기 위해 기울기 추적을 활용하여 수렴 정확도를 향상시킨다.
• 각 에이전트가 국부 측정값과 이웃 정보만을 사용하여 행동을 업데이트하는 분산 업데이트 법칙을 설계한다.
• 각 클러스터가 서로 다른 일정한 스텝 사이즈를 사용할 수 있도록 하여 전역적 스텝 사이즈 선택 조율이 필요 없도록 한다.
• 안정성과 수렴을 보장하기 위해 에이전트 간 평균 기울기를 추적하기 위해 공약 기반 구조를 사용한다.
• 내쉬 균형의 존재성과 유일성을 보장하기 위해 강한 단조성 게임 매핑 조건을 적용한다.

실험 결과

연구 질문

• RQ1 함수 값만 이용 가능한 상황에서 N클러스터 게임에 대해 기울기 자유형 NE 탐색 알고리즘을 설계할 수 있는가?
• RQ2 클러스터 간 독립적인 일정한 스텝 사이즈 선택이 기울기 자유형 NE 탐색의 수렴성과 오차에 어떤 영향을 미치는가?
• RQ3 비협력적 스텝 사이즈와 기울기 자유 조건 하에서 제안된 알고리즘의 수렴 속도와 오차 한계는 무엇인가?
• RQ4 스텝 사이즈와 스무딩 파라미터에 비례하는 오차로, 알고리즘이 NE의 이웃으로 선형 수렴을 달성할 수 있는가?
• RQ5 스텝 사이즈 크기와 스무딩 파라미터 간의 상호작용이 최종 오차 갭에 어떤 영향을 미치는가?

주요 결과

• 강한 단조성 게임 매핑 조건 하에서 제안된 알고리즘은 유일한 내쉬 균형의 이웃으로 선형 수렴을 달성한다.
• 에이전트의 행동과 진짜 NE 사이의 오차 갭은 가장 큰 스텝 사이즈와 스무딩 파라미터에 비례한다.
• 가장 큰 스텝 사이즈가 충분히 작을 경우, 기울기 자유 운영 조건 하에서도 안정적이고 정확한 수렴을 보장한다.
• 연결성 제어 게임에 대한 수치 시뮬레이션을 통해, 더 큰 스텝 사이즈와 스텝 사이즈의 낮은 이질성일수록 수렴 속도가 빨라지는 것으로 나타났다.
• 오차 갭은 시간이 지남에 따라 선형적으로 감소하여 이론적 수렴 속도 예측이 확인되었다.
• 에이전트 간 스텝 사이즈가 이질적일 경우에도 알고리즘이 효과적으로 작동하여 비협력적 선택에 대한 강건성을 입증하였다.