[논문 리뷰] Fast and Furious Learning in Zero-Sum Games: Vanishing Regret with Non-Vanishing Step Sizes

James P. Bailey, Georgios Piliouras|arXiv (Cornell University)|2019. 05. 11.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 6

한 줄 요약

이 논문은 두 명의 플레이어와 두 전략을 가진 제로섬 게임에서 고정된 스텝 사이즈를 사용하는 온라인 경사 하강법에 대해 $Θ(\sqrt{T})$의 첫 번째 비선형적 손실 한계를 확립한다—비소멸 학습률이 여전히 최적의 손실을 달성할 수 있음을 보여준다. 핵심 통찰은 나시 균형 주변의 불안정성이 장애물이 아니라, 이중 공간에서 수익률 궤적의 엄밀한 기하학적 제어를 가능하게 한다는 것이다. 이로 인해 정확한 나시 균형으로 시간 평균 수렴이 이루어진다.

ABSTRACT

We show for the first time, to our knowledge, that it is possible to reconcile in online learning in zero-sum games two seemingly contradictory objectives: vanishing time-average regret and non-vanishing step sizes. This phenomenon, that we coin ``fast and furious" learning in games, sets a new benchmark about what is possible both in max-min optimization as well as in multi-agent systems. Our analysis does not depend on introducing a carefully tailored dynamic. Instead we focus on the most well studied online dynamic, gradient descent. Similarly, we focus on the simplest textbook class of games, two-agent two-strategy zero-sum games, such as Matching Pennies. Even for this simplest of benchmarks the best known bound for total regret, prior to our work, was the trivial one of $O(T)$, which is immediately applicable even to a non-learning agent. Based on a tight understanding of the geometry of the non-equilibrating trajectories in the dual space we prove a regret bound of $Θ(\sqrt{T})$ matching the well known optimal bound for adaptive step sizes in the online setting. This guarantee holds for all fixed step-sizes without having to know the time horizon in advance and adapt the fixed step-size accordingly. As a corollary, we establish that even with fixed learning rates the time-average of mixed strategies, utilities converge to their exact Nash equilibrium values.

연구 동기 및 목표

• 제로섬 게임의 온라인 학습에서 손실 감소가 사라지지 않는 스텝 사이즈와 충돌하는 목표를 조율하는 것.
• 이전 연구에서 단순한 $O(T)$ 한계만 확보한 바 있는, 고정된 학습률을 사용하는 온라인 경사 하강법에 대해 비선형 손실 한계를 확립하는 것.
• 고정된 스텝 사이즈를 사용함에도 불구하고 시간 평균 혼합 전략과 수익률이 정확히 나시 균형 값으로 수렴하는지 보여주는 것.
• 나시 균형 주변의 불안정성(밀려나는 동역학)이 분석적으로 이용되어 엄밀한 손실 한계를 증명할 수 있음을 보여주는 것.

제안 방법

• 두 전략 제로섬 게임의 수익률 벡터 이중 공간에서의 평형이 아닌 궤적의 기하학을 분석한다.
• 나시 균형 주위를 돌면서 거리가 일정량 증가하는 수익률 벡터의 선형 변환을 도입한다.
• 한 번의 회전을 완료하는 데 걸리는 시간이 균형에서의 거리에 비례함을 증명하여, 반복 횟수와 회전 수 사이에 이차적 관계를 유도한다.
• 이 회전 운동을 이용해 시간 정보 없이도 고정된 스텝 사이즈에 대해 $O(\\sqrt{T})$ 손실 한계를 유도한다.
• 매칭 펜니의 한 예에서 전략과 손실을 명시적으로 추적함으로써 $\Omega(\\sqrt{T})$ 하한을 증명한다.

실험 결과

연구 질문

• RQ1 고정된 스텝 사이즈를 사용함에도 불구하고 시간 정보 없이 제로섬 게임에서 비선형 손실을 달성할 수 있는가?
• RQ2 고정된 학습률을 사용할 때 시간 평균 전략과 수익률이 정확히 나시 균형 값으로 수렴할 수 있는가?
• RQ3 경사 하강 동역학에서 나시 균형의 불안정성이 더 엄밀한 손실 한계를 증명하는 데 활용될 수 있는가?
• RQ4 두 명의 플레이어와 두 전략을 가진 제로섬 게임에서 온라인 경사 하강법의 수익률 궤적을 뒷받침하는 기하학적 구조는 무엇인가?

주요 결과

• 논문은 임의의 고정된 스텝 사이즈를 사용하는 온라인 경사 하강법에 대해 $Θ(\sqrt{T})$ 손실 한계를 증명하며, 이는 적응형 스텝 사이즈로 달성 가능한 최적의 한계와 일치한다.
• 손실 한계는 시간의 길이 $T$에 대한 사전 지식 없이도 성립하므로 실시간 및 온라인 환경에 적용 가능하다.
• 시간 평균 혼합 전략과 수익률은 고정된 학습률을 사용함에도 불구하고 정확히 나시 균형 값으로 수렴하며, 근사치가 아니다.
• 분석 결과, 이중 공간의 수익률 벡터는 나시 균형 주위를 도는 운동을 하며, 진폭은 증가하고, 한 바퀴 도는 데 걸리는 시간은 거리에 비례한다.
• 매칭 $Θ(\sqrt{T})$ 하한이 확립되어 $O(\sqrt{T})$ 손실 한계가 엄밀함을 입증한다.