[논문 리뷰] Tight last-iterate convergence rates for no-regret learning in multi-player games

Noah Golowich, Sarath Pattathil외 1명|arXiv (Cornell University)|2020. 10. 26.

Advanced Bandit Algorithms Research참고 문헌 66인용 수 8

한 줄 요약

이 논문은 일정한 단계 크기를 사용하는 옵timistic 그라디언트(OG) 알고리즘을 통해 다중 플레이어 게임에서 노리그레트 학습의 날카운 마지막 반복 수렴 속도를 확립한다. 매끄럽고 단조로운 게임에서 평형 갭 함수로의 수렴 속도가 $O(1/\sqrt{T})$임을 증명하며, 이 속도가 OG를 포함한 모든 $p$-SCLI 알고리즘에 대해 최적임을 새로운 적응형 잠재함수 기법과 Arjevani 등(2015)의 추측을 직접 증명함으로써 보여준다.

ABSTRACT

We study the question of obtaining last-iterate convergence rates for no-regret learning algorithms in multi-player games. We show that the optimistic gradient (OG) algorithm with a constant step-size, which is no-regret, achieves a last-iterate rate of $O(1/\sqrt{T})$ with respect to the gap function in smooth monotone games. This result addresses a question of Mertikopoulos & Zhou (2018), who asked whether extra-gradient approaches (such as OG) can be applied to achieve improved guarantees in the multi-agent learning setting. The proof of our upper bound uses a new technique centered around an adaptive choice of potential function at each iteration. We also show that the $O(1/\sqrt{T})$ rate is tight for all $p$-SCLI algorithms, which includes OG as a special case. As a byproduct of our lower bound analysis we additionally present a proof of a conjecture of Arjevani et al. (2015) which is more direct than previous approaches.

연구 동기 및 목표

• 일정한 단계 크기를 사용할 때, 옵티미스틱 그라디언트(OG)와 같은 초과그라디언트 방법이 다중 에이전트 학습에서 향상된 마지막 반복 수렴 보장을 달성할 수 있는지 여부라는 열린 질문를 해결하기 위해.
• 특히 OG 알고리즘에 대해 매끄럽고 단조로운 게임에서 노리그레트 학습 알고리즘의 마지막 반복에 대한 날카운 수렴 속도를 확립하기 위해.
• 모든 $p$-SCLI 알고리즘(OG 포함)에 대해 $O(1/\sqrt{T})$ 속도가 최적임을, 일치하는 하한값을 구성함으로써 증명하기 위해.
• Arjevani 등(2015)의 추측을 간접적 감소에 의존하지 않고 직접적으로 증명하기 위해, 새로운 적응형 잠재함수 접근법을 사용하기 위해.

제안 방법

• 각 반복에서 잠재함수의 적응적 선택을 기반으로 하는 새로운 증명 기법을 도입하여, 옵티미스틱 그라디언트(OG) 알고리즘의 마지막 반복 수렴을 분석한다.
• 매끄럽고 단조로운 게임에서 일정한 단계 크기를 사용하는 OG 알고리즘을 분석하여, 평형 갭 함수로의 수렴 속도가 $O(1/\sqrt{T})$임을 보여준다.
• 이차 함수와 구조적 헤시안 행렬을 사용하여 딱딱한 사례를 구성함으로써, 모든 $p$-SCLI 알고리즘(OG 포함)에 대한 하한값을 확립한다.
• 반복 행렬의 스펙트럼 분석을 사용하여 수렴 속도를 근사화하며, [ASSS15]와 [Proposition 8]의 결과를 활용하여 스펙트럼 반경과 알고리즘 안정성 간의 관계를 규명한다.
• 최적화에서 게임 역학으로의 감소를 적용하여, $p$-SCLI 방법의 수렴을 제어된 곡률을 가진 이차 함수의 행동으로 매핑한다.
• 특이값 분해와 노름 분석을 활용하여, 하한값 $\Omega(\ell D^2 / T)$를 유도함으로써 상한값의 날카움을 증명한다.

실험 결과

연구 질문

• RQ1 일정한 단계 크기를 사용할 때, 옵티미스틱 그라디언트(OG)와 같은 초과그라디언트 방법이 다중 플레이어 게임에서 향상된 마지막 반복 수렴 속도를 달성할 수 있는가?
• RQ2 매끄럽고 단조로운 게임에서 OG의 마지막 반복에 대해 $O(1/\sqrt{T})$ 수렴 속도가 날카운가, 아니면 향상시킬 수 있는가?
• RQ3 $p$-SCLI 알고리즘의 마지막 반복 수렴에 대한 본질적 한계는 무엇인가?
• RQ4 Arjevani 등(2015)의 추측, 즉 그라디언트 기반 방법의 최적성에 대해 간접적 감소에 의존하지 않고 직접적으로 증명할 수 있는가?

주요 결과

• 일정한 단계 크기를 사용하는 옵티미스틱 그라디언트(OG) 알고리즘은 매끄럽고 단조로운 게임에서 갭 함수에 대해 $O(1/\sqrt{T})$의 마지막 반복 수렴 속도를 달성한다.
• 이 $O(1/\sqrt{T})$ 속도는 OG를 포함한 모든 $p$-SCLI 알고리즘에 대해 날카롭다. 즉, 일반적인 매끄럽고 단조로운 게임에서 더 빠른 마지막 반복 수렴 속도를 달성할 수 있는 알고리즘이 존재하지 않는다.
• 논문은 Arjevani 등(2015)의 추측을 직접적으로 증명하며, 새로운 적응형 잠재함수 기법을 사용한다.
• 하한값 구성은 조건이 잘 갖춰진 알고리즘인 OG조차도 $O(1/\sqrt{T})$ 속도를 향상시킬 수 없음을 보여주며, 다중 에이전트 학습에서의 본질적 한계를 확립한다.
• 분석 결과, 수렴 속도는 알고리즘의 반복 행렬의 스펙트럼 성질에 본질적으로 연결되어 있으며, 이는 알고리즘 특화 상수에 의존한다.
• 결과적으로 일정한 단계 크기 학습이 감소하는 학습률에 의존하지 않고도 마지막 반복 수렴을 달성할 수 있음을 보여주며, 이는 경제학적 및 동적 시스템 관점에서 더 자연스럽다.