[논문 리뷰] Near-Optimal No-Regret Learning in General Games

Constantinos Daskalakis, Maxwell Fishelson외 1명|arXiv (Cornell University)|2021. 08. 16.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 8

한 줄 요약

이 논문은 단순한 노레그레트 학습 알고리즘인 옵티미스틱 헤지(optimistic hedge)가 최근성 편향을 가진다는 점을 보여주며, 일반합계 다수 플레이어 게임에서 다항로그레스티(다항로그)의 결과를 달성한다. 특히 $O(m \log n \cdot \log^4 T)$로, 표준 노레그레트 학습자들이 달성하는 $O(\sqrt{T})$의 결과와 이전의 옵티미스틱 방법들이 달성하는 $O(T^{1/4})$의 결과보다 크게 향상된다. 이 결과는 일반 게임에서 근사 최적의 학습 역학을 확립하며, 공통 상관 균형에 수렴하는 속도가 $\tilde{O}(1/T)$임을 의미한다.

ABSTRACT

We show that Optimistic Hedge -- a common variant of multiplicative-weights-updates with recency bias -- attains ${ m poly}(\log T)$ regret in multi-player general-sum games. In particular, when every player of the game uses Optimistic Hedge to iteratively update her strategy in response to the history of play so far, then after $T$ rounds of interaction, each player experiences total regret that is ${ m poly}(\log T)$. Our bound improves, exponentially, the $O({T}^{1/2})$ regret attainable by standard no-regret learners in games, the $O(T^{1/4})$ regret attainable by no-regret learners with recency bias (Syrgkanis et al., 2015), and the ${O}(T^{1/6})$ bound that was recently shown for Optimistic Hedge in the special case of two-player games (Chen & Pen, 2020). A corollary of our bound is that Optimistic Hedge converges to coarse correlated equilibrium in general games at a rate of $ ilde{O}\left(\frac 1T ight)$.

연구 동기 및 목표

• 일般합계 게임에서 최고의 알려진 결과와 이중 플레이어 제로섬 게임에서 달성 가능한 로그레스티 사이의 격차를 메우기 위해.
• 간단하고 실용적인 학습 알고리즘을 사용하여 다수 플레이어 일반합계 게임에서 다항로그레스티가 달성 가능한지 확인하기 위해.
• 옵티미스틱 헤지(optimistic hedge)가 단순함에도 불구하고 일반 게임에서 근사 최적의 결과를 달성할 수 있음을 입증하기 위해.
• 빠른 수렴과 적대적 내성에 대한 강건성을 동시에 포괄하는 통합 분석 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 전략의 분산과 시간에 따른 손실 차이의 영향을 분리하는 새로운 결과 분해 기법을 사용하여 옵티미스틱 헤지의 분석을 수행한다.
• 손실 시퀀스의 분산 항목을 정교하게 분석하며, 연속된 손실 벡터 간의 차이에 대한 경계를 활용한다.
• 핵심 기술적 구성 요소로는 시간에 따라 변하는 스텝 사이즈 $\eta = \frac{1}{C m \log^4 T}$의 사용이며, 이는 탐색과 수렴 간의 균형을 맞춘다.
• 증명은 두 가지 핵심 레마에 기반한다: 하나는 잠재 함수를 통한 기대 결과의 경계 설정이며, 다른 하나는 손실 차이의 분산 증가를 통제하는 것이다.
• 분산 조건을 위반할 경우 표준 스텝 사이즈로 전환하여 $O(\sqrt{T})$의 적대적 결과를 유지하도록 알고리즘을 추가로 수정한다.
• 플레이어 역학을 분리하고 게임의 전략 공간의 구조를 활용하여 각 플레이어의 누적 결과를 경계함으로써 다수 플레이어 설정으로 분석을 확장한다.

실험 결과

연구 질문

• RQ1 간단하고 구현 가능한 학습 알고리즘을 사용하여 일반합계 다수 플레이어 게임에서 다항로그레스티를 달성할 수 있는가?
• RQ2 최근성 편향을 가진 다중 가중치의 변종인 옵티미스틱 헤지(optimistic hedge)가 일반 게임에서 결과율 측면에서 표준 노레그레트 알고리즘을 초월하는가?
• RQ3 일般합계 게임에서 노레그레트 학습 하에 공통 상관 균형에 수렴하는 최적의 수렴 속도는 무엇인가?
• RQ4 한 가지 알고리즘이 동시에 구조화된 게임에서 빠른 수렴과 적대적 환경에서의 강건성을 보장할 수 있는가?

주요 결과

• 옵티미스틱 헤지(optimistic hedge)는 일반합계 다수 플레이어 게임에서 $O(m \log n \cdot \log^4 T)$의 결과를 달성하며, 이는 표준 노레그레트 학습자들이 달성하는 $O(\sqrt{T})$의 결과보다 크게 향상된 것이다.
• 이전의 옵티미스틱 방법들이 일반 게임에서 달성하는 $O(T^{1/4})$의 결과보다 지수적으로 향상된 결과이다.
• 특히 이중 플레이어 게임의 특수한 경우에서 결과는 $O(\log^{5/6} n \cdot T^{1/6})$로 개선되며, 이는 해당 설정에서 알려진 최고의 결과와 일치한다.
• 알고리즘은 $\tilde{O}(1/T)$의 속도로 공통 상관 균형에 수렴하며, 이는 로그 요소를 제외한 최적의 결과이다.
• 옵티미스틱 헤지의 수정된 버전은 구조화된 게임 설정에서 다항로그레스티를 달성하면서도 $O(\sqrt{T})$의 적대적 결과를 유지한다.
• 분석을 통해 빠른 수렴의 핵심은 손실 차이의 분산을 통제하는 데 있음을 입증하였다. 단지 손실의 크기만 통제하는 것이 아니라, 시간에 따른 변화의 분산을 제어하는 것이 핵심이다.