[논문 리뷰] Faster Rates for Convex-Concave Games

Jacob Abernethy, Kevin A. Lai외 2명|arXiv (Cornell University)|2018. 05. 17.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 11

한 줄 요약

이 논문은 옵티미스틱 예측 방법을 통해 $O(1/T^2)$ 수렴 속도를 달성하고, 곡률 조건 하에서 선형 수렴 속도 $O(e^{-T})$ 를 확보함으로써 볼록-볼록 게임을 해결하는 데 더 빠른 수렴 속도를 제안한다. 이 결과들은 프랭크-울프 방법과 연결되며, 기존에 알려진 빠른 수렴 속도를 복원하고 이를 온라인 학습 프레임워크를 통해 확장한다.

ABSTRACT

We consider the use of no-regret algorithms to compute equilibria for particular classes of convex-concave games. While standard regret bounds would lead to convergence rates on the order of $O(T^{-1/2})$, recent work \citep{RS13,SALS15} has established $O(1/T)$ rates by taking advantage of a particular class of optimistic prediction algorithms. In this work we go further, showing that for a particular class of games one achieves a $O(1/T^2)$ rate, and we show how this applies to the Frank-Wolfe method and recovers a similar bound \citep{D15}. We also show that such no-regret techniques can even achieve a linear rate, $O(\exp(-T))$, for equilibrium computation under additional curvature assumptions.

연구 동기 및 목표

• 표준 $O(T^{-1/2})$ 오차 한계를 초월하여 볼록-볼록 게임의 균형 계산 수렴 속도를 향상시키는 것.
• 최근의 옵티미스틱 알고리즘에 기반한 $O(1/T)$ 수렴 속도를 더 강한 구조적 가정 하에서 $O(1/T^2)$ 수렴 속도로 확장하는 것.
• 노레게트 알고리즘이 곡률 가정 하에 선형 수렴 속도 $O(e^{-T})$ 를 달성할 수 있는 조건을 설정하는 것.
• 이러한 빠른 수렴 속도를 프랭크-울프 방법과 연결하여 기존에 알려진 수렴 한계를 복원하거나 향상시키는 것.

제안 방법

• 미래의 기울기 추정을 통합하는 옵티미스틱 예측 알고리즘을 활용하여 오차를 줄이고 수렴 속도를 가속화한다.
• 온라인 학습 프레임워크를 0-합계 볼록-볼록 게임에 적용하여 플레이어 전략을 반복적으로 갱신하는 정책으로 모델링한다.
• 오차 분석이 다항 감소에서 지수 감소로 전환할 수 있도록 곡률 기반 가정을 도입한다.
• 강한 볼록성과 미세성 조건 하에서 이중성 간격과 오차 분해를 분석함으로써 수렴 속도를 유도한다.
• 프랭크-울프 방법을 노레게트 학습의 한 예로 재해석하여 온라인 볼록 최적화 도구를 활용한 수렴 분석을 가능하게 한다.
• 오차와 이중성 간격 간의 이중성을 활용하여 누적 오차 기반으로 균형점과의 거리를 제한한다.

실험 결과

연구 질문

• RQ1 더 강한 구조적 가정 하에서 노레게트 알고리즘이 볼록-볼록 게임에서 $O(1/T^2)$ 수렴 속도를 달성할 수 있는가?
• RQ2 곡률 조건이 0-합계 게임에서 노레게트 학습의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 프랭크-울프 방법을 온라인 학습의 관점에서 분석하여 기존에 알려진 수렴 속도를 복원하거나 향상시킬 수 있는가?
• RQ4 옵티미스틱 예측과 안정점 문제에서의 가속 수렴 사이의 관계는 무엇인가?
• RQ5 노레게트 학습이 균형 계산에서 어떤 조건 하에 선형 수렴 속도 $O(e^{-T})$ 를 제공하는가?

주요 결과

• 논문은 적절한 미세성과 강한 볼록성 가정 하에서 옵티미스틱 노레게트 알고리즘을 사용하여 볼록-볼록 게임에 대해 $O(1/T^2)$ 수렴 속도를 확립한다.
• 추가적인 곡률 가정 하에서, 이 방법은 $O(e^{-T})$ 선형 수렴 속도를 달성하며, 다항 수렴 속도보다 훨씬 빠르다.
• 프랭크-울프 방법은 옵티미스틱 업데이트를 갖는 노레게트 학습 알고리즘으로 간주할 경우 $O(1/T^2)$ 수렴 속도를 달성함을 보였다.
• 분석을 통해 이중성 간격이 오차와 동일한 속도로 감소함을 입증하여 균형 계산에 대한 날카로운 상한을 확보한다.
• 이전의 $O(1/T)$ 수렴 속도를 일반화하고 온라인 학습, 안정점 문제, 일阶 방법을 연결하는 통합적 프레임워크를 제공한다.