[논문 리뷰] Katyusha: Accelerated Variance Reduction for Faster SGD.

Zeyuan Allen Zhu|arXiv (Cornell University)|2016. 03. 18.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 12

한 줄 요약

Katyusha는 분산 감소와 음의 모멘터티를 조합함으로써 유한 합의 볼록이고 미분 가능한 함수를 최소화하는 데 가속화된 수렴 속도를 달성하는 새로운 확률적 경사 하강법이다. 비강한 볼록 문제에 대해 $1/\sqrt{\varepsilon}$, 랭크-원 함수에 대해 $1/\varepsilon$의 최적 수렴 속도를 달성하며, $O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$개의 확률적 경사 하강을 사용함으로써 장기간의 열린 문제를 해결한다.

ABSTRACT

We consider minimizing $f(x)$ that is an average of $n$ convex, smooth functions $f_i(x)$, and provide the first direct stochastic gradient method $\mathtt{Katyusha}$ that has the accelerated convergence rate. It converges to an $\varepsilon$-approximate minimizer using $O((n + \sqrt{n \kappa})\cdot \log\frac{f(x_0)-f(x^*)}{\varepsilon})$ stochastic gradients where $\kappa$ is the condition number. $\mathtt{Katyusha}$ is a primal-only method, supporting proximal updates, non-Euclidean norm smoothness, mini-batch sampling, as well as non-uniform sampling. It also resolves the following open questions in machine learning $\bullet$ If $f(x)$ is not strongly convex (e.g., Lasso, logistic regression), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ If $f(x)$ is strongly convex and each $f_i(x)$ is rank-one (e.g., SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ If $f(x)$ is not strongly convex and each $f_i(x)$ is rank-one (e.g., L1SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\varepsilon$ rate. The main ingredient in $\mathtt{Katyusha}$ is a novel negative on top of momentum that can be elegantly coupled with the existing variance reduction trick for stochastic gradient descent. As a result, since variance reduction has been successfully applied to fast growing list of practical problems, our paper implies that one had better hurry up and give $\mathtt{Katyusha}$ a hug in each of them, in hoping for a faster running time also in practice.

연구 동기 및 목표

• 기계 학습 분야에서 비강한 볼록 문제와 랭크-원 문제에 대해 가속화된 확률적 방법이 부족한 문제를 해결하기 위해.
• Lasso, 로지스틱 회귀, SVM와 같은 설정에서 확률적 경사 하강법의 최적 수렴 속도에 대한 열린 질문을 해결하기 위해.
• 프록시 갱신, 비유클리드 노름, 미니배치, 비균일 샘플링을 지원하는 프리미벌-오로너 방법을 설계하기 위해.
• 이러한 문제 유형에 대해 확률적 환경에서 최초로 $1/\sqrt{\varepsilon}$ 및 $1/\varepsilon$ 수렴 속도를 달성하기 위해.
• 새로운 모멘터티-분산 감소 결합 방식을 통해 기존의 SGD 변종보다 실용적이고 이론적으로 최적의 대안을 제공하기 위해.

제안 방법

• Katyusha는 확률적 경사 하강법에서 분산 감소 기법과 우아하게 결합된 새로운 음의 모멘터티 항을 도입한다.
• 이 방법은 프리미벌-오로너 프레임워크를 사용하여 프록시 갱신과 비유클리드 스무쓰니스 노름을 지원한다.
• 모멘터티와 분산 감소를 균형 있게 조절하는 이중 시간 척도 업데이트 규칙을 적용하여 수렴 안정성을 향상시킨다.
• 미니배치 샘플링과 비균일 샘플링 전략을 지원하여 실용적 효율성을 높인다.
• 핵심 혁신은 수렴을 안정화하고 가속화하는 데 분산 감소와 음의 모멘터티를 결합한 데 있다.
• 이 방법은 $O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$개의 확률적 경사 하강 평가를 통해 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 Lasso나 로지스틱 회귀와 같은 비강한 볼록 문제에 대해 확률적 1차 방법이 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성할 수 있는가?
• RQ2 SVM와 같이 매 $f_i(x)$가 랭크-원인 경우, 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성할 수 있는 확률적 방법을 설계할 수 있는가?
• RQ3 비강한 볼록 문제에서 각 $f_i(x)$가 랭크-원인 경우, 예를 들어 L1-SVM에서 최적의 $1/\varepsilon$ 수렴 속도를 달성할 수 있는가?
• RQ4 음의 모멘터티를 분산 감소와 효과적으로 통합하여 확률적 최적화에서 수렴을 가속화할 수 있는가?
• RQ5 제안된 방법이 다양한 기계 학습 문제에서 이론적·실용적으로 기존의 확률적 경사 하강 방법을 능가하는가?

주요 결과

• Katyusha는 Lasso나 로지스틱 회귀와 같은 비강한 볼록 문제에 대해 최초로 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성한다.
• SVM와 같은 랭크-원 함수에 대해 Katyusha는 확률적 환경에서 최초로 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성한다.
• 함수 $f(x)$가 비강한 볼록이면서 각 $f_i(x)$가 랭크-원인 경우, Katyusha는 최적의 $1/\varepsilon$ 수렴 속도를 달성한다.
• 이 방법은 $O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$개의 확률적 경사 하강 평가를 요구하며, 이는 이론적 하한선과 정확히 일치한다.
• 음의 모멘터티와 분산 감소의 통합은 표준 SGD와 기존의 가속화 방법보다 더 빠른 수렴을 가능하게 한다.
• Katyusha 는 프록시 갱신, 비유클리드 노름, 미니배치, 비균일 샘플링을 지원하면서도 최적의 수렴 속도를 유지하는 최초의 프리미벌-오로너 방법이다.