[논문 리뷰] Variance Reduction via Accelerated Dual Averaging for Finite-Sum Optimization

Chaobing Song, Yong Jiang외 1명|arXiv (Cornell University)|2020. 06. 18.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 유한합 볼록 최적화를 위한 통합 알고리즘인 분산 감소를 통한 가속화된 이중 평균(VRADA)을 제안한다. 이 알고리즘은 $O(1/n)$-정확도를 갖는 해를 $O(n\log\log n)$개의 확률적 기울기 평가로 도달하며, 이는 기존에 알려진 $O(n\log n)$ 복잡도를 향상시킨다. VRADA는 일반 및 강하게 볼록 설정 모두에서 알려진 하한선을 충족하며, 다양한 설정 간에 단순화되고 통합된 수렴 분석을 제공한다.

ABSTRACT

In this paper, we introduce a simplified and unified method for finite-sum convex optimization, named \emph{Variance Reduction via Accelerated Dual Averaging (VRADA)}. In both general convex and strongly convex settings, VRADA can attain an $O\big(\frac{1}{n}\big)$-accurate solution in $O(n\log\log n)$ number of stochastic gradient evaluations which improves the best-known result $O(n\log n)$, where $n$ is the number of samples. Meanwhile, VRADA matches the lower bound of the general convex setting up to a $\log\log n$ factor and matches the lower bounds in both regimes $n\le Θ(κ)$ and $n\gg κ$ of the strongly convex setting, where $κ$ denotes the condition number. Besides improving the best-known results and matching all the above lower bounds simultaneously, VRADA has more unified and simplified algorithmic implementation and convergence analysis for both the general convex and strongly convex settings. The underlying novel approaches such as the novel initialization strategy in VRADA may be of independent interest. Through experiments on real datasets, we show the good performance of VRADA over existing methods for large-scale machine learning problems.

연구 동기 및 목표

• 대규모 유한합 최적화에서 확률적 기울기 하강법(SGD)의 높은 반복 복잡도 문제를 해결하기 위해 기울기 분산을 감소시키는 것.
• 각 설정에 대해 별도로 설계된 알고리즘 없이도 일반 볼록 및 강하게 볼록 설정 모두에서 효율적으로 작동하는 통합 알고리즘을 개발하는 것.
• 일반 볼록 및 강하게 볼록 설정 모두에서 $O(1/n)$-정확도를 갖는 해를 도달하기 위해 $O(n\log\log n)$의 반복 복잡도를 달성하는 것.
• 일반 및 강하게 볼록 설정 모두에서 알려진 이론적 하한선을 충족시키며, $n \leq \Theta(\kappa)$ 및 $n \gg \kappa$ 설정 모두에서 성능을 보장하는 것.
• 이전 방법들보다 복잡도가 높은 분석을 피하고, 알고리즘의 명확성과 구현 용이성을 높이기 위해 단순화되고 통합된 수렴 분석을 제공하는 것.

제안 방법

• 일반 및 강하게 볼록 설정을 통합적으로 다룰 수 있도록 하는 VRADA의 새로운 초기화 전략을 도입한다.
• 가속화된 이중 평균을 활용하여 모멘텀과 분산 감소를 통합함으로써 수렴 속도를 향상시킨다.
• 기울기 분산 감소 추정기 $\tilde{\nabla}g_i(\mathbf{x}) = \nabla g_i(\mathbf{x}) - \nabla g_i(\tilde{\mathbf{x}}) + \nabla g(\tilde{\mathbf{x}})$ 를 사용하며, 여기서 $\tilde{\mathbf{x}}$ 는 기준점이다.
• 시간이 지남에 따라 기울기를 누적하는 이중 평균 업데이트를 유지함으로써, 분산 제어와 유사한 모멘텀 가속을 가능하게 한다.
• 일반 볼록($\sigma = 0$)과 강하게 볼록($\sigma > 0$) 설정을 동일한 핵심 구조로 다룰 수 있는 통합된 수렴 분석 프레임워크를 적용한다.
• 새로운 리아푸노프 함수를 도입하고 이를 통해 기대 최적성 갭에 대한 경계를 유도함으로써 $O(n\log\log n)$ 복잡도를 도출한다.

실험 결과

연구 질문

• RQ1 일관된 알고리즘이 일반 및 강하게 볼록 유한합 최적화 문제에서 모두 최적의 수렴 복잡도를 달성할 수 있는가?
• RQ2 유한합 설정에서 분산 감소와 가속화의 분석 및 구현을 통합할 수 있는가?
• RQ3 유한합 문제에서 $O(1/n)$-정확도를 달성하기 위해 필요한 최소한의 확률적 기울기 평가 횟수는 얼마인가?
• RQ4 일반 및 강하게 볼록 설정 모두에서 알려진 하한선을 충족할 수 있는가? 특히 $n \leq \Theta(\kappa)$ 및 $n \gg \kappa$ 설정에서 성능을 보장할 수 있는가?
• RQ5 단순화된 초기화 및 업데이트 전략이 이전의 가속화된 분산 감소 방법에 비해 더 나은 경험적 성능과 이론적 명확성을 제공할 수 있는가?

주요 결과

• VRADA는 $O(1/n)$-정확도를 갖는 해를 $O(n\log\log n)$개의 확률적 기울기 평가로 도달하며, 이는 이전에 알려진 $O(n\log n)$ 복잡도를 향상시킨다.
• 알려진 일반 볼록 유한합 최적화의 하한선을 $\log\log n$ 요소를 제외하고 충족한다.
• 강하게 볼록 설정에서는 $n \leq \Theta(\kappa)$ 및 $n \gg \kappa$ 설정 모두에서 하한선을 충족한다.
• 실제 데이터셋(a9a 및 covtype)에서 SVRG, Katyusha, MiG에 비해 뛰어난 경험적 성능을 보이며, 특히 조건 수가 큰 설정에서 두각을 나타낸다.
• 일반 볼록($\lambda = 0$), 큰 조건 수($\lambda = 10^{-8}$), 작은 조건 수($\lambda = 10^{-4}$) 세 가지 설정 모두에서 강력한 성능 유지를 보이며, 이는 통합 설계의 타당성을 입증한다.
• VRADA의 새로운 초기화 전략은 더 나은 오차 상쇄 효과를 제공하며, 특히 강하게 볼록 설정에서 더 공격적인 파rameter 조정이 가능하게 한다.