[논문 리뷰] ANITA: An Optimal Loopless Accelerated Variance-Reduced Gradient Method

Zhize Li|arXiv (Cornell University)|2021. 03. 21.

Stochastic Gradient Optimization Techniques참고 문헌 66인용 수 7

한 줄 요약

이 논문은 유한합 최적화를 위한 새로운 최적, 루프 없는 가속화된 분산 감소 기울기 방법인 ANITA를 소개한다. 동적 다단계 수렴 분석을 통해 일반 볼록 문제에 대해 $O(n)$, 강한 볼록 문제에 대해 $O\big{(}(n+\frac{nL}{\theta}\big{)}\log\frac{1}{\epsilon}\big{)}$의 최적 수렴 속도를 달성하며, 기존의 Varag 및 Katyusha와 비교해 이론적·실제 성능 모두에서 뛰어나다.

ABSTRACT

In this paper, we propose a novel accelerated gradient method called ANITA for solving the fundamental finite-sum optimization problems. Concretely, we consider both general convex and strongly convex settings: i) For general convex finite-sum problems, ANITA improves previous state-of-the-art result given by Varag (Lan et al., 2019). In particular, for large-scale problems or the convergence error is not very small, i.e., $n \geq \frac{1}{ε^2}$, ANITA obtains the \emph{first} optimal result $O(n)$, matching the lower bound $Ω(n)$ provided by Woodworth and Srebro (2016), while previous results are $O(n \log \frac{1}ε)$ of Varag (Lan et al., 2019) and $O(\frac{n}{\sqrtε})$ of Katyusha (Allen-Zhu, 2017). ii) For strongly convex finite-sum problems, we also show that ANITA can achieve the optimal convergence rate $O\big((n+\sqrt{\frac{nL}μ})\log\frac{1}ε\big)$ matching the lower bound $Ω\big((n+\sqrt{\frac{nL}μ})\log\frac{1}ε\big)$ provided by Lan and Zhou (2015). Besides, ANITA enjoys a simpler loopless algorithmic structure unlike previous accelerated algorithms such as Varag (Lan et al., 2019) and Katyusha (Allen-Zhu, 2017) where they use double-loop structures. Moreover, we provide a novel \emph{dynamic multi-stage convergence analysis}, which is the key technical part for improving previous results to the optimal rates. We believe that our new theoretical rates and novel convergence analysis for the fundamental finite-sum problem will directly lead to key improvements for many other related problems, such as distributed/federated/decentralized optimization problems (e.g., Li and Richtárik, 2021). Finally, the numerical experiments show that ANITA converges faster than the previous state-of-the-art Varag (Lan et al., 2019), validating our theoretical results and confirming the practical superiority of ANITA.

연구 동기 및 목표

• 일반적이고 강한 볼록 설정 하에서 유한합 최적화의 최적 수렴 속도에 대한 격차를 메운다.
• 가속화된 분산 감소 방법에서 이중 루프 구조가 필요 없도록 제거하여 구현과 분석의 복잡성을 줄인다.
• 일반적이고 강한 볼록 케이스에서 알려진 하한선에 부합하는 최적 수렴 복잡도를 달성한다.
• 더 날카운 수렴 한계와 알고리즘의 단순화를 가능하게 하는 새로운 동적 다단계 수렴 분석 프레임워크를 개발한다.
• 수치 실험을 통해 실용적 우수성을 입증하여 Varag와 같은 최신 기법들에 비해 이론적 이점을 검증한다.

제안 방법

• 형태 $\min_x \frac{1}{n}\sum_{i=1}^n f_i(x)$를 갖는 유한합 문제를 위한 새로운 가속 기울기 방법 ANITA를 제안한다.
• 단계별로 스텝 사이즈와 확률을 조정하여 최적 수렴 속도를 달성하기 위한 동적 다단계 수렴 분석 프레임워크를 도입한다.
• 이중 루프가 없는 단일 루프 구조를 사용하여, 기존의 Varag 및 Katyusha와 같은 이중 루프 알고리즘의 복잡성과는 다르게 간단한 구현을 가능하게 한다.
• 수렴과 분산 감소를 균형 있게 조절하기 위해 $\theta_t = \frac{1}{2}\min\{1, \sqrt{\frac{\mu}{p_t L}}\}$와 적응형 확률 $p_t$를 포함하는 새로운 매개변수화 기법을 활용한다.
• 진행 상황과 강한 볼록 케이스에서의 선형 수렴을 추적하기 위해 라플라스 함수 $\Phi_t = f(w_t) - f(x^*) + \frac{(1 + \mu\eta_t)p_t\theta_t}{2\eta_t}\|x_t - x^*\|^2$를 유도한다.
• 최적 매개변수 설정 하에서 $\mathbb{E}[\Phi_t]$에 대한 축약 불등식을 통해 수렴을 확립하며, $(1 - \frac{4p\theta}{5})^t \Phi_0$의 형태로 표현된다.

실험 결과

연구 질문

• RQ1 일반 볼록 유한합 문제에 대해 루프 없는 가속화된 분산 감소 방법이 $O(n)$ 복잡도를 달성할 수 있는가? 이는 Woodworth와 Srebro(2016)의 하한선 $\Omega(n)$과 일치한다.
• RQ2 강한 볼록 문제에 대해 수렴 속도를 $O\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$로 최적화할 수 있는가? 이는 Lan과 Zhou(2015)의 알려진 하한선과 일치한다.
• RQ3 이중 루프를 제거하면서도 최적 수렴 속도를 유지하고 구현을 단순화할 수 있는가?
• RQ4 다양한 문제 영역에서 최적 속도를 달성하고 더 날카운 한계를 제공하기 위해 동적 다단계 수렴 분석 프레임워크를 개발할 수 있는가?
• RQ5 제안된 ANITA 방법이 Varag 및 Katyusha와 같은 최신 기법들보다 이론적 복잡도와 실증적 수렴 속도에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 일반 볼록 유한합 문제에 대해 ANITA는 최적의 $O(n)$ 스토하스틱 기울기 복잡도를 달성하며, Woodworth와 Srebro(2016)의 하한선 $\Omega(n)$과 일치한다. 이는 이전의 $O(n\log\frac{1}{\epsilon})$ 및 $O(\frac{n}{\sqrt{\epsilon}})$ 결과보다 향상된 성능이다.
• 강한 볼록 문제에 대해 ANITA는 최적 수렴 속도 $O\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$를 달성하며, Lan과 Zhou(2015)의 하한선 $\Omega\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$와 일치한다.
• ANITA는 기존의 Varag 및 Katyusha와 같은 가속화 방법에서의 이중 루프를 제거하여 보다 단순한, 루프 없는 알고리즘 설계를 실현한다.
• 동적 다단계 수렴 분석이 최적 속도를 가능하게 하는 핵심 기술적 혁신이며, 라플라스 함수와 분산 감소에 대한 더 엄밀한 제어를 제공한다.
• 수치 실험을 통해 ANITA가 이전의 최신 기법인 Varag보다 더 빠르게 수렴하는 것으로 확인되었으며, 실용적 우수성을 검증한다.
• 이론적 최적성과 단순성 덕분에 ANITA는 분산, 피어 투 피어, 분산 최적화와 같은 관련 분야에 직접 적용 가능하며 성능 향상이 기대된다.