[논문 리뷰] A Survey of Algorithms and Analysis for Adaptive Online Learning

H. Brendan McMahan|arXiv (Cornell University)|2014. 03. 14.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 26

한 줄 요약

이 논문은 적응형 정규화 하에서 Follow-The-Regularized-Leader (FTRL), 미러 강하(Mirror Descent), 이중 평균화(Dual Averaging) 알고리즘의 통합적이고 모듈러한 분석을 제시한다. 이는 FTRL, 미러 강하, 이중 평균화 알고리즘 간의 등가성을 입증함으로써 이루어지며, 모든 라운드에서 유효한 날카운 감소한 리그레트 경계를 확립한다. 이 경계는 기존 결과를 일반화하며, AdaGrad 스타일의 데이터 의존적 경계를 포함한다. 이는 재사용 가능한 레몬들을 분리하고, 적응형 정규화 하에서 미러 강하와 FTRL 간의 정확한 등가성을 입증하는 프레임워크를 사용한다.

ABSTRACT

We present tools for the analysis of Follow-The-Regularized-Leader (FTRL), Dual Averaging, and Mirror Descent algorithms when the regularizer (equivalently, prox-function or learning rate schedule) is chosen adaptively based on the data. Adaptivity can be used to prove regret bounds that hold on every round, and also allows for data-dependent regret bounds as in AdaGrad-style algorithms (e.g., Online Gradient Descent with adaptive per-coordinate learning rates). We present results from a large number of prior works in a unified manner, using a modular and tight analysis that isolates the key arguments in easily re-usable lemmas. This approach strengthens pre-viously known FTRL analysis techniques to produce bounds as tight as those achieved by potential functions or primal-dual analysis. Further, we prove a general and exact equivalence between an arbitrary adaptive Mirror Descent algorithm and a correspond- ing FTRL update, which allows us to analyze any Mirror Descent algorithm in the same framework. The key to bridging the gap between Dual Averaging and Mirror Descent algorithms lies in an analysis of the FTRL-Proximal algorithm family. Our regret bounds are proved in the most general form, holding for arbitrary norms and non-smooth regularizers with time-varying weight.

연구 동기 및 목표

• 적응형 정규화 하에서 FTRL, 미러 강하, 이중 평균화 알고리즘의 분석을 하나의 이론적 프레임워크로 통합하는 것.
• 알고리즘과 설정 간의 일반화를 위해 재사용 가능한 레몬들을 분리하는 모듈러하고 날카운 리그레트 분석을 개발하는 것.
• 모든 적응형 미러 강하 알고리즘과 해당되는 FTRL 업데이트 간의 정확한 등가성을 입증하여, FTRL 프레임워크를 통해 미러 강하 분석을 가능하게 하는 것.
• 시간에 따라 변화하는, 데이터 의존적인 정규화를 사용하여, T가 알려지지 않았거나 시간에 따라 변하는 상황에서도 모든 라운드 T에서 유효한 리그레트 경계를 유도하는 것.
• 일반적인 노름과 비연속 정규화를 포함한 일반적인 조건 하에서 기존의 경계, 특히 AdaGrad 스타일의 데이터 의존적 리그레트를 복원하고 향상시키는 것.

제안 방법

• 논문은 각 $ r_t $ 가 이전 손실 $ f_1, \dots, f_t $ 에 기반하여 선택되는 적응형 정규화를 갖는 일반적인 FTRL 프레임워크를 도입한다. 이는 데이터 의존적인 학습률을 가능하게 한다.
• 모든 미러 강하 알고리즘이 해당 정규화를 갖는 FTRL 업데이트로 재구성될 수 있음을 보여줌으로써, 적응형 미러 강하와 FTRL 업데이트 간의 일반적인 등가성을 입증한다.
• 분석은 안정성 기반 접근을 사용하며, 리그레트를 Bregman 발산을 통해 경계하고, 연속된 반복 간의 차이를 제어하기 위해 강력한 FTRL 보조정리를 활용한다.
• 핵심 구성 요소로는 시간에 따라 변화하는 Bregman 발산 $ \mathcal{B}_{r_t}(x^*, x_{t+1}) $ 과 최적화 및 리그레트 분석을 단순화하기 위한 서로서의 함수 $ \bar{f}_t $ 의 손실 분해이 포함된다.
• 이 프레임워크는 임의의 노름과 비연속 정규화를 처리할 수 있으며, 초기 정규화 $ r_0 $ 에 지표 함수를 통합하여 실현 가능한 집합을 포함한다.
• 안정성 항의 합이 $ \sum_{t=1}^T \frac{1}{2}\|g_t\|_{(t),\star}^2 $ 으로 유계임을 증명함으로써 날카운 리그레트 경계를 확립한다. 여기서 $ g_t $ 는 $ f_t $ 의 하위미분이다.

실험 결과

연구 질문

• RQ1 적응형 정규화 하에서 FTRL, 미러 강하, 이중 평균화 알고리즘에 대한 통합적 분석 프레임워크를 개발할 수 있는가?
• RQ2 적응형 미러 강하와 FTRL 알고리즘 간의 정확한 관계는 무엇이며, 이 등가성은 일반적으로 증명될 수 있는가?
• RQ3 T가 알려지지 않았거나 시간에 따라 변하는 상황에서도 모든 라운드 T에서 유효한 리그레트 경계를 도출할 수 있는가?
• RQ4 AdaGrad 스타일의 데이터 의존적, 좌표별 학습률이 하나의 프레임워크 내에서 공식적으로 분석되고 일반화될 수 있는가?
• RQ5 재사용 가능한 레몬들을 사용하여 모듈러하고 날카운 분석이 가능하며, 이는 이전 결과를 복원하거나 향상시킬 수 있는가?

주요 결과

• 논문은 모든 적응형 미러 강하 알고리즘과 해당되는 FTRL 업데이트 간의 일반적이고 정확한 등가성을 입증하여, FTRL 프레임워크를 통해 미러 강하 분석이 가능하게 한다.
• 모든 라운드 T에서 유효하며 AdaGrad 스타일의 경계를 일반화하는 날카운 리그레트 경계 $ \operatorname{Regret}(x^*) \leq \mathcal{B}_{r_{0:T}}(x^*, x_1) + \sum_{t=1}^T \frac{1}{2}\|g_t\|_{(t),\star}^2 $ 를 확립한다.
• 기존 결과, 특히 Duchi 등 (2010b) 의 결과를 복원하고 향상시키며, 잠재 함수나 원-이중 분석에서 유도된 경계만큼 날카로운 경계를 입증한다.
• 이 프레임워크는 임의의 노름과 비연속 정규화를 지원하며, 시간에 따라 변화하는 가중치를 갖기에 다양한 온라인 볼록 최적화 문제에 적용 가능하다.
• 핵심 논증을 재사용 가능한 레몬들, 예를 들어 강력한 FTRL 보조정리 등으로 분리하여, 다양한 알고리즘과 설정에 적용할 수 있다.
• 이 방법은 T에 대해 비선형적이며, 손실 함수의 기하학성과 비교자 노름 $ \|x^*\| $ 에 따라 적응하는 데이터 의존적 리그레트 경계를 가능하게 한다.