[논문 리뷰] On Last-Iterate Convergence Beyond Zero-Sum Games

Ioannis Anagnostides, Ioannis Panageas외 2명|arXiv (Cornell University)|2022. 03. 22.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 일반합게임, 특히 일정합다각형, 전략적으로 제로섬, 잠재게임을 포함한 광범위한 비제로섬 게임에서 낙관적 미러 강하(OMD)와 낙관적 경사하강(OGD)의 최종 반복 수렴성을 확립한다. 두 번째 차수 경로 길이를 제한하는 회귀 기반 분석을 도입함으로써, 저자들은 O(1/√T) 수렴 속도와 O(1) 회귀 한계를 달성하였으며, 이는 플레이어들이 서로 다른 알고리즘 또는 정규화를 사용할 때조차 성립한다. 이는 OMD가 나시 균형으로 수렴하거나 효율성 측면에서 강력한 가격의 안정성보다 뛰어난 성능을 발휘할 수 있음을 보여준다.

ABSTRACT

Most existing results about \emph{last-iterate convergence} of learning dynamics are limited to two-player zero-sum games, and only apply under rigid assumptions about what dynamics the players follow. In this paper we provide new results and techniques that apply to broader families of games and learning dynamics. First, we use a regret-based analysis to show that in a class of games that includes constant-sum polymatrix and strategically zero-sum games, dynamics such as \emph{optimistic mirror descent (OMD)} have \emph{bounded second-order path lengths}, a property which holds even when players employ different algorithms and prediction mechanisms. This enables us to obtain $O(1/\sqrt{T})$ rates and optimal $O(1)$ regret bounds. Our analysis also reveals a surprising property: OMD either reaches arbitrarily close to a Nash equilibrium, or it outperforms the \emph{robust price of anarchy} in efficiency. Moreover, for potential games we establish convergence to an $ε$-equilibrium after $O(1/ε^2)$ iterations for mirror descent under a broad class of regularizers, as well as optimal $O(1)$ regret bounds for OMD variants. Our framework also extends to near-potential games, and unifies known analyses for distributed learning in Fisher's market model. Finally, we analyze the convergence, efficiency, and robustness of \emph{optimistic gradient descent (OGD)} in general-sum continuous games.

연구 동기 및 목표

• 이중 플레이어 제로섬 설정을 초월한 일반합게임에서 최종 반복 수렴 보장을 부족한 문제를 해결하기 위해.
• 모든 플레이어가 동일한 학습 역학을 사용해야 한다는 제한적인 가정을 완화하기 위해.
• 시장과 연속 게임에서의 분산 학습에 대한 기존 분석을 통합하고 확장하기 위해.
• OMD 역학이 나시 균형으로 수렴하거나 효율성 측면에서 강력한 가격의 안정성을 초월함을 입증하기 위해.
• 잠재 게임 및 근접 잠재 게임에서 ε-균형을 달성하기 위한 최적의 O(1) 회귀 및 O(1/ε²) 반복 복잡도를 제공하기 위해.

제안 방법

• 유용성의 회귀 제한 변화(utility variation bounded by regret, RVU) 성질과 학습 역학에서의 제한된 두 번째 차수 경로 길이 간의 연관성을 연결하는 회귀 기반 분석 프레임워크를 도입한다.
• 이 경로 길이 제한을 활용해, 회귀 합이 음이 아닌 게임에서 OMD의 O(1/√T) 수렴 속도와 O(1) 개인적 회귀 한계를 유도한다.
• 일반 정규화를 사용할 때 RVU 조건을 검증함으로써 일정합다각형 및 전략적으로 제로섬 게임에 이 프레임워크를 적용한다.
• 넓은 범위의 정규화를 사용한 미러 강하를 통해 잠재 게임으로 확장하며, ε-균형에 도달하기까지 O(1/ε²) 반복이 필요함을 증명한다.
• 연속 일반합게임에서 OGD를 분석하여 미세한 조건 하에서 수렴함을 보이고, 작은 교란 하에서의 안정성을 규명한다.
• H차 예측 메커니즘과 혼합 정규화(예: 유클리드 및 음의 엔트로피)를 사용해 실험에서의 강건성을 시험한다.

실험 결과

연구 질문

• RQ1 이중 플레이어 제로섬 설정을 초월한 일반합게임에서 최종 반복 수렴을 보장할 수 있는가?
• RQ2 플레이어들이 서로 다른 학습 알고리즘 또는 정규화를 사용할 때 최종 반복 수렴이 유지되는가?
• RQ3 회귀 기반 분석을 재사용하여 비제로섬 게임에서 경로 길이 제한과 수렴 보장을 확립할 수 있는가?
• RQ4 최종 반복 수렴과 효율성 측면에서의 강력한 가격의 안정성 간의 관계는 무엇인가?
• RQ5 다양한 정규화 및 예측 메커니즘 하에서 OMD와 OGD는 연속 비제약 일반합게임에서 어떻게 행동하는가?

주요 결과

• OMD는 일정합다각형 및 전략적으로 제로섬 게임에서 비록 동적 조건이 다를지라도 O(1/√T) 수렴 속도와 O(1) 회귀 한계를 달성한다.
• 잠재 게임에서는 넓은 범위의 정규화를 사용한 미러 강하가 O(1/ε²) 반복 내에 ε-균형으로 수렴하며, 이는 기존 최적 속도와 일치한다.
• OMD 역학은 나시 균형으로 수렴하거나 강력한 가격의 안정성을 초월하는 사회적 복지를 달성하며, 놀라운 효율성 보장을 제공한다.
• 이 프레임워크는 페셔 마켓 모델과 근접 잠재 게임에서의 기존 분석을 통합하고 확장한다.
• 연속 일반합게임에서 OGD는 근접 제로섬 게임일 경우 1에 가까운 선형 수렴 속도로 균형으로 수렴한다.
• 실험 결과 혼합 정규화(예: 유클리드 및 음의 엔트로피) 하에서도 안정적인 수렴이 확인되었으며, 이는 이론적 한계가 엄격히 적용되지 않을 경우에도 성립한다.