[논문 리뷰] Katyusha: The First Truly Accelerated Stochastic Gradient Method

Zeyuan Allen-Zhu|arXiv (Cornell University)|2016. 03. 18.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 4

한 줄 요약

Katyusha는 다양한 기계학습 목표 함수에서 가속화된 수렴 속도를 달성한 최초의 스위치드 1차 방법이다. 운동량과 분산 감소를 조합하고 음의 운동량을 활용함으로써, 약한 볼록성과 미분 가능성을 가진 문제에 대해 $1/\sqrt{\varepsilon}$, 비미분 가능 경우에 대해 $1/\varepsilon$의 최적 수렴 속도를 확보하며, $O((n + \sqrt{n\kappa})\log(1/\varepsilon))$회의 반복을 사용한다.

ABSTRACT

We introduce $\mathtt{Katyusha}$, the first direct stochastic gradient method that has an accelerated convergence rate. Given an objective that is an average of $n$ convex and smooth functions, $\mathtt{Katyusha}$ converges to an $\varepsilon$-approximate minimizer using $O((n + \sqrt{n \kappa})\cdot \log\frac{f(x_0)-f(x^*)}{\varepsilon})$ stochastic iterations, where $\kappa$ is the condition number. $\mathtt{Katyusha}$ also resolves the following open questions in optimization and machine learning $\bullet$ For weakly convex and smooth objectives (e.g., Lasso, Logistic Regression), $\mathtt{Katyusha}$ is the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ For strongly-convex but non-smooth ERM objectives (e.g., SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ For weakly convex and non-smooth ERM objectives (e.g., L1SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\varepsilon$ rate.

연구 동기 및 목표

• 일般 볼록 및 비미분 가능 목표 함수에 대해 스위치드 1차 방법에서 가속화된 수렴을 달성하는 데 오랫동안 미해결된 문제를 해결하기 위해.
• Lasso 및 로지스틱 회귀와 같은 약한 볼록성과 미분 가능성을 가진 목표 함수에 대해 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성하는 스위치드 최적화 알고리즘을 설계하기 위해.
• 강한 볼록이지만 비미분 가능한 경험 리스크 최소화 문제(예: SVM)에 대해 최초로 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 확보하는 스위치드 방법을 제공하기 위해.
• L1-SVM과 같은 약한 볼록성과 비미분 가능 문제에 대해 최초로 최적의 $1/\varepsilon$ 수렴 속도를 달성하는 스위치드 방법을 확립하기 위해.
• 음의 운동량을 활용하는 단일 프레임워크 내에서 기존의 분산 감소 기법을 통합하고 가속화하기 위해.

제안 방법

• Katyusha는 수렴 속도를 가속화하기 위해 양의 운동량과 음의 운동량 항을 조합한 새로운 운동량 기반 업데이트 규칙을 도입한다.
• SVRG와 같은 방법을 영감으로 삼은 분산 감소를 갖춘 편향된 스위치드 그래디언트 추정기 사용하지만, 더블-운동량 메커니즘으로 개선된다.
• 알고리즘은 두 개의 보조 수열을 유지한다: 하나는 운동량 업데이트를 위해, 다른 하나는 음의 운동량 구성 요소를 위해 사용되어 오차 항의 빠른 감쇠를 가능하게 한다.
• 헤시안의 구조를 활용하고 수렴 속도 바운드에 조건 수 $\kappa$를 활용함으로써 가속화를 달성한다.
• 기대 하위최적성 갭의 상한을 최소화하도록 업데이트 규칙이 설계되어, 엄밀한 $O((n + \sqrt{n\kappa})\log(1/\varepsilon))$ 반복 복잡도를 확보한다.
• 표준 미분 가능성 및 볼록성 가정 하에 수렴 보장을 갖는, $n$개의 볼록성과 미분 가능 함수의 평균으로 이루어진 목표 함수에 적용 가능하다.

실험 결과

연구 질문

• RQ1 일반 볼록성과 미분 가능성을 가진 목표 함수에 대해 스위치드 1차 방법이 이론적 하한선에 맞는 가속화된 수렴 속도를 달성할 수 있는가?
• RQ2 Lasso 및 로지스틱 회귀와 같은 약한 볼록성과 미분 가능 문제에 대해 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성하는 스위치드 알고리즘을 설계할 수 있는가?
• RQ3 SVM과 같은 강한 볼록이지만 비미분 가능한 경험 리스크 최소화 문제에 대해 스위치드 방법이 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성할 수 있는가?
• RQ4 L1-SVM과 같은 약한 볼록성과 비미분 가능 문제에 대해 스위치드 방법이 최적의 $1/\varepsilon$ 수렴 속도를 달성할 수 있는가?
• RQ5 완전한 그래디언트 계산 없이도 스위치드 환경에서 수렴을 가속화할 수 있는 새로운 운동량 메커니즘은 무엇인가?

주요 결과

• Katyusha는 볼록성과 미분 가능성을 가진 목표 함수에 대해 $O((n + \sqrt{n\kappa})\log(1/\varepsilon))$회의 스위치드 반복을 통해 가속화된 수렴 속도를 달성한다.
• 약한 볼록성과 미분 가능성을 가진 목표 함수(예: Lasso, 로지스틱 회귀)에 대해 Katyusha는 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 확보한다.
• 강한 볼록이지만 비미분 가능한 목표 함수(예: SVM)에 대해 Katyusha는 최적의 $1/\sqrt{\varepsilon}$ 수렴 속도를 달성하며, 오랫동안 미해결이었던 문제를 해결한다.
• 약한 볼록성과 비미분 가능성을 가진 목표 함수(예: L1-SVM)에 대해 Katyusha는 이전에 스위치드 방법으로는 달성할 수 없었던 최적의 $1/\varepsilon$ 수렴 속도를 확보한다.
• 완전한 그래디언트 계산 없이도 분산 감소와 음의 운동량을 함께 활용하여 수렴 속도를 증명 가능하게 가속화하는 최초의 방법이다.