[논문 리뷰] Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium

Yu-Guan Hsieh, Kimon Antonakopoulos외 1명|arXiv (Cornell University)|2021. 04. 26.

Advanced Bandit Algorithms Research참고 문헌 60인용 수 8

한 줄 요약

이 논문은 적응형 노리그레트 학습 알고리즘인 최적화된 이중 평균(OptDA)과 이중 안정화된 최적화 미러 강하(DF-OptMD)를 제안하며, 사전 조정 없이도 적대적 상대방에 대해 최적의 $$\mathcal{O}(\sqrt{T})$$ 리그레트를 달성한다. 모든 플레이어가 이 알고리즘을 사용할 경우, 변동 안정성 게임(예: 볼록-볼록형 및 단조형 게임 포함)에서 개인 리그레트가 $$\mathcal{O}(1)$$이 되며, 경기 결과가 나시 균형으로 수렴한다.

ABSTRACT

In game-theoretic learning, several agents are simultaneously following their individual interests, so the environment is non-stationary from each player's perspective. In this context, the performance of a learning algorithm is often measured by its regret. However, no-regret algorithms are not created equal in terms of game-theoretic guarantees: depending on how they are tuned, some of them may drive the system to an equilibrium, while others could produce cyclic, chaotic, or otherwise divergent trajectories. To account for this, we propose a range of no-regret policies based on optimistic mirror descent, with the following desirable properties: i) they do not require any prior tuning or knowledge of the game; ii) they all achieve O(\sqrt{T}) regret against arbitrary, adversarial opponents; and iii) they converge to the best response against convergent opponents. Also, if employed by all players, then iv) they guarantee O(1) social regret; while v) the induced sequence of play converges to Nash equilibrium with O(1) individual regret in all variationally stable games (a class of games that includes all monotone and convex-concave zero-sum games).

연구 동기 및 목표

• 연속 게임에서 표준 알고리즘이 작은 외란에 민감하여 수렴하지 못하거나 발산하는 불안정성 문제를 해결하기 위해.
• 노리그레트 학습과 균형 수렴 간 격차를 해소하기 위해, 온건한 조건 하에 나시 균형으로 수렴을 보장하는 알고리즘 설계를 위해.
• 게임 매개변수나 전역 조정을 알지 못해도 최적의 리그레트와 안정성을 보장하는 연속 게임에서의 적응형 학습을 위한 통합 프레임워크 제공을 위해.
• 유한 게임에 대한 이전 결과를 연속적이고 가능하면 유계가 아닌 행동 공간으로 확장하여 수렴성과 리그레트 보장을 보장하는 데 목적이 있다.

제안 방법

• 국소 기울기 정보로부터 유도된 적응형 스텝 사이즈를 사용하는 옵티미스틱 미러 강하를 적용하여 전역 조정이 필요 없도록 한다.
• 후로우 더 레귤러라이즈드 리더(FTRL)를 영감으로 삼은 정규화 메커니즘을 도입하여 학습 동역학을 안정화시킨다.
• 국소 기울기 노름에 기반한 플레이어별 적응형 스텝 사이즈 규칙을 사용하여 게임 구조에 대한 사전 지식 없이도 강건성과 수렴성을 확보한다.
• 변동 안정성 게임 조건 하에서 경기 수열의 수렴을 증명하기 위해 준-페제르 수열 분석을 적용한다.
• 볼록성과 미세성 가정을 활용하여 기울기 변화와 정규화를 포함하는 항들로 리그레트를 새로운 방식으로 분해함으로써 리그레트 한계를 유도한다.
• 수치 수열에 대한 기술적 보조정리를 활용하여 적대적 리그레트를 유 bounds하고 분석에서 핵심 수열의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 연속 게임에서의 노리그레트 학습이 하이퍼파rameter 조정 없이도 나시 균형으로 수렴을 보장할 수 있는가?
• RQ2 노리그레트 학습이 순환적 또는 발산적 행동이 아닌 안정적이고 균형적인 결과를 낳도록 보장하는 조건은 무엇인가?
• RQ3 모든 플레이어가 동일한 알고리즘을 사용할 경우, 적대적 상대방에 대해 최적의 $$\mathcal{O}(\sqrt{T})$$ 리그레트를 달성하면서도 동시에 균형으로 수렴할 수 있는가?
• RQ4 국소 정보에 기반한 적응형 스텝 사이즈는 연속 게임에서 옵티미스틱 미러 강하의 수렴성과 리그레트 성질에 어떤 영향을 미치는가?
• RQ5 어떤 유형의 게임이 노리그레트 학습 하에서 $$\mathcal{O}(1)$$ 개인 리그레트와 나시 균형으로의 수렴을 허용하는가?

주요 결과

• 제안된 알고리즘은 게임에 대한 사전 지식이나 조정 없이도 임의의 적대적 상대방에 대해 $$\mathcal{O}(\sqrt{T})$$ 리그레트를 달성한다.
• 모든 플레이어가 동일한 알고리즘을 사용할 경우, 사회적 리그레트가 $$\mathcal{O}(1)$$ 이하로 제한되어 강력한 집단적 성능을 보인다.
• 변동 안정성 게임—예를 들어 볼록-볼록형 0-합 게임 및 단조형 게임—에서는 플레이 수열이 나시 균형으로 수렴하며, 개인 리그레트가 $$\mathcal{O}(1)$$ 이다.
• 완전한 게임 지식 없이도 수렴하는 상대방에 대해 최적의 대응으로 수렴을 보장한다.
• 분석을 통해 플레이어 행동 간 제곱 차이의 합이 0으로 수렴함을 증명하여 궁극적으로 궤적의 안정성을 의미한다.
• 최적의 리그레트 한계를 확보하면서도 균형으로의 수렴을 유지하여, 행동 공간이 유계가 아닌 연속 게임에서 최초로 이러한 성능을 달성한 알고리즘이다.