[논문 리뷰] No-Regret Dynamics in the Fenchel Game: A Unified Framework for Algorithmic Convex Optimization

Jun-Kun Wang, Jacob Abernethy외 1명|arXiv (Cornell University)|2021. 11. 22.

Advanced Bandit Algorithms Research참고 문헌 70인용 수 5

한 줄 요약

이 논문은 일련의 최소화 게임에서 무회귀 학습의 관점에서 일阶 볼록 최적화 방법을 해석하고 분석하는 통합 프레임워크인 Fenchel 게임 무회귀 동역학(Fenchel Game No-Regret Dynamics, FGNRD)을 소개한다. 볼록 최적화 문제를 두 플레이어 간의 Fenchel 쌍대 게임으로 재구성함으로써, Frank-Wolfe, Nesterov의 가속화, 프록시멀 방법과 같은 고전적 방법들이 특수한 경우로 나타나며, 이들의 수렴 속도는 기존 온라인 학습 알고리즘의 무회귀 한계에서 직접 유도된다.

ABSTRACT

We develop an algorithmic framework for solving convex optimization problems using no-regret game dynamics. By converting the problem of minimizing a convex function into an auxiliary problem of solving a min-max game in a sequential fashion, we can consider a range of strategies for each of the two-players who must select their actions one after the other. A common choice for these strategies are so-called no-regret learning algorithms, and we describe a number of such and prove bounds on their regret. We then show that many classical first-order methods for convex optimization -- including average-iterate gradient descent, the Frank-Wolfe algorithm, Nesterov's acceleration methods, and the accelerated proximal method -- can be interpreted as special cases of our framework as long as each player makes the correct choice of no-regret strategy. Proving convergence rates in this framework becomes very straightforward, as they follow from plugging in the appropriate known regret bounds. Our framework also gives rise to a number of new first-order methods for special cases of convex optimization that were not previously known.

연구 동기 및 목표

• 온라인 학습과 게임 역학에 기반한 단일 알고리즘 프레임워크를 통해 다양한 일阶 볼록 최적화 방법을 통합하는 것.
• Frank-Wolfe, Nesterov의 가속화 기울기 방법, 프록시멀 방법과 같은 고전적 방법들이 제안된 FGNRD 프레임워크의 특수한 경우임을 보여주는 것.
• 기존 온라인 학습 알고리즘의 무회귀 한계를 활용하여 수렴 속도를 체계적으로 유도하는 방법을 제공하는 것.
• Fenchel 게임 내에서 무회귀 학습 역학을 전략적으로 선택함으로써 빠른 수렴 속도를 갖는 새로운 일阶 방법을 발견하는 것.
• 제로합 게임에서의 안장점 역학과 시간 평균 반복을 통한 볼록 최소화 문제의 해 간의 연결 고리를 설정하는 것.

제안 방법

• 목적 함수 $ f $의 쌍대 함수인 $ f^* $ 를 사용하여 볼록 최소화 문제를 Fenchel 쌍대 게임으로 재구성: $ g(x,y) = \langle x,y \rangle - f^*(y) $.
• 두 플레이어를 온라인 학습자로 모델링: 한 명은 $ x_t $ 를 선택하고, 다른 한 명은 $ y_t $ 를 선택하며, 총 $ T $ 라운드 동안 순차적으로 행동을 갱신한다.
• 양 플레이어 모두에게 무회귀 학습 알고리즘(예: FTRL, OMD, LazyFTL)을 사용하여 시간 평균 반복 $ \bar{x}_T, \bar{y}_T $ 가 $ \epsilon $-근사 안장점을 형성하도록 보장한다.
• 시간 평균 반복 $ \bar{x}_T $ 가 $ \min_{w \in \mathcal{K}} f(w) $ 의 $ \epsilon $-최적 해에 수렴함을 유도하며, 여기서 $ \epsilon $ 은 플레이어의 무회귀 한계에 의존한다.
• 핵심 관계식 수립: $ f(w_T) - \min f(w) \leq \overline{\boldsymbol{\alpha}\textsc{-Reg}}^x + \overline{\boldsymbol{\alpha}\textsc{-Reg}}^y $ 로서 최적화 오차를 가중 무회귀와 연결한다.
• 기존 무회귀 한계(예: FTRL의 경우 $ O(\log T / T) $, FTL의 경우 $ O(1/T) $) 를 오차 한계에 대입하여 수렴 속도를 증명하며, 전략 선택에 따라 $ O(\log T / T) $ 또는 $ O(1/T^2) $ 의 속도를 도출한다.

실험 결과

연구 질문

• RQ1 다양한 일阶 볼록 최적화 방법의 수렴을 온라인 학습 역학을 통해 통합된 프레임워크로 설명할 수 있는가?
• RQ2 최소-최대 Fenchel 게임에서의 무회귀 학습 전략이 볼록 최적화에서 수렴으로 이르는 방식은 무엇인가?
• RQ3 학습 알고리즘과 가중치에 어떤 조건이 요구되어 FGNRD 프레임워크에서 가속화된 수렴 속도를 달성하는가?
• RQ4 이 게임 이론적 시각에서 새로운 일阶 방법으로서 향상된 수렴 속도를 갖는 방법을 체계적으로 도출할 수 있는가?
• RQ5 무회귀 학습의 무회귀도와 볼록 최소화 문제에서의 비최적성 간의 정확한 관계는 무엇인가?

주요 결과

• 적절한 무회귀 전략을 $ x $-플레이어 및 $ y $-플레이어에 선택함으로써 FGNRD 프레임워크는 Frank-Wolfe, Nesterov의 가속화 기울기 방법, 가속화 프록시멀 방법을 특수한 경우로 통합한다.
• $ x $-플레이어가 BestResp+를 사용하고 $ y $-플레이어가 $ \alpha_t = t $ 인 LazyFTL를 사용할 경우, 프레임워크는 $ O(\log T / T) $ 의 수렴 속도를 달성한다.
• $ x $-플레이어에 FTRL+를, $ y $-플레이어에 $ \alpha_t = t $ 인 FTRL+를 사용할 경우, 프레임워크는 가속화된 $ O(1/T^2) $ 의 수렴 속도를 달성한다.
• 프레임워크를 통해 기존 문헌에 알려지지 않은 새로운 일阶 방법으로서 $ O(1/T^2) $ 의 빠른 수렴 속도를 갖는 방법을 도출할 수 있다.
• 수렴 오차는 가중 무회귀의 합으로 제한되며: $ f(w_T) - \min f(w) \leq \overline{\boldsymbol{\alpha}\textsc{-Reg}}^x + \overline{\boldsymbol{\alpha}\textsc{-Reg}}^y $, 이는 최적화 오차를 온라인 학습 성능과 직접 연결한다.
• 강한 볼록 집합(예: $ \ell_p $, 슈체바트 $ p $, 그룹 $ (s,p) $ 구)의 경우, 프레임워크는 강한 볼록성 매개수 $ \lambda $ 에 대한 명시적 상한을 제공하여 더 탴한 수렴 보장을 가능하게 한다.