[논문 리뷰] How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD

Zeyuan Allen-Zhu|arXiv (Cornell University)|2018. 01. 08.

Stochastic Gradient Optimization Techniques인용 수 39

한 줄 요약

이 논문은 볼록 최적화를 위한 새로운 확률적 경사 하강법(SGD) 변종인 SGD3와 비볼록 최적화를 위한 SGD5를 제안한다. 이 알고리즘들은 경사 노름을 감소시키는 데 있어 유의미하게 빠른 수렴 속도를 달성한다. 네스테로프의 가속 기법과 적응형 학습률 전략을 활용하여, 볼록 문제에 대해 $ olinebreak[4] \widetilde{O}(\varepsilon^{-2})$에 가까운 near-optimal 수렴 속도를, 비볼록 문제에 대해 $ olinebreak[4] \widetilde{O}(\varepsilon^{-3.5})$의 수렴 속도를 달성하며, 이는 이전의 경계보다 수개의 주기만큼 향상된다.

ABSTRACT

Stochastic gradient descent (SGD) gives an optimal convergence rate when minimizing convex stochastic objectives $f(x)$. However, in terms of making the gradients small, the original SGD does not give an optimal rate, even when $f(x)$ is convex. If $f(x)$ is convex, to find a point with gradient norm $\varepsilon$, we design an algorithm SGD3 with a near-optimal rate $ ilde{O}(\varepsilon^{-2})$, improving the best known rate $O(\varepsilon^{-8/3})$ of [18]. If $f(x)$ is nonconvex, to find its $\varepsilon$-approximate local minimum, we design an algorithm SGD5 with rate $ ilde{O}(\varepsilon^{-3.5})$, where previously SGD variants only achieve $ ilde{O}(\varepsilon^{-4})$ [6, 15, 33]. This is no slower than the best known stochastic version of Newton's method in all parameter regimes [30].

연구 동기 및 목표

• 확률적 볼록 최적화에서 경사 노름을 최소화하는 데 있어 수렴 속도의 격차를 메우기 위해, 이전 방법이 $O(\varepsilon^{-8/3})$를 달성한 바 있다.
• 개선된 경사 노름 수렴을 비볼록 최적화로 확장하여, 이전 방법이 단지 $\widetilde{O}(\varepsilon^{-4})$의 경계에만 도달한 바 있다.
• 데이터 크기 $n$에 의존하지 않는 온라인 알고리즘을 설계하여, 대규모 또는 무한 데이터 환경에 적합하게 하기 위해.
• 특히 네스테로프의 기법들을 통합하고 향상시켜, 경사 노름 감소를 위한 기존의 가속 기법을 통합하고 개선하기 위해.
• 어떤 응용 분야에서 작은 목적 함수 값보다 작은 경사 노름을 최소화하는 것이 더 중요한지에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 볼록 설정에서 경사 노름 감소에 대해 $\widetilde{O}(\varepsilon^{-2})$의 수렴 속도를 달성하기 위해 네스테로프의 가속 기법과 적응형 학습률 스케줄링을 사용하는 SGD3라는 SGD의 변종을 제안한다.
• 두 단계 전략을 도입: 먼저 가속 경사 하강법을 적용한 후, 출력 결과에 대해 경사 하강법을 수행하여 경사 노름을 감소시킨다.
• 유사한 원리를 비볼록 문제에 적용하여 SGD5를 도입함으로써, $\widetilde{O}(\varepsilon^{-3.5})$의 수렴 속도를 달성하며, 이는 이전의 $\widetilde{O}(\varepsilon^{-4})$ 경계를 향상시킨다.
• 복합 목적 함수를 다루고 스트로스틱 업데이트의 안정성을 보장하기 위해 정규화자 $\psi(x)$를 사용한 프록시멀 공식을 사용한다.
• 편차가 유한한 $\mathcal{V}$를 가진 스트로스틱 경사 오라클을 사용하여, 노이즈가 있는 경사 추정치 하에서도 수렴을 보장한다.
• 수렴의 핵심 측정 기준으로 경사 매핑 $\mathcal{G}_{F,\eta}(x)$를 정의하며, 목표는 $\|\mathcal{G}_{F,\eta}(x)\| \leq \varepsilon$가 된다.

실험 결과

연구 질문

• RQ1 확률적 볼록 최적화에서 경사 노름 감소를 위한 수렴 속도를 $O(\varepsilon^{-8/3})$를 초월해 향상시킬 수 있는가?
• RQ2 볼록 최적화에서 사용된 동일한 가속 기법을 비볼록 문제에 적용하여 더 빠른 수렴을 달성할 수 있는가?
• RQ3 수렴 속도가 $n$에 의존하지 않는 온라인 알고리즘을 설계할 수 있는가?
• RQ4 네스테로프의 가속 기법은 표준 SGD에 비해 경사 노름 수렴에 어떻게 향상되는가?
• RQ5 스트로스틱 환경에서 경사 노름 감소의 이론적 한계는 무엇이며, 이를 접근할 수 있는가?

주요 결과

• SGD3는 볼록 목적 함수에서 $\widetilde{O}(\varepsilon^{-2})$의 경사 노름 수렴 속도를 달성하며, 이는 이전의 최고 수준인 $O(\varepsilon^{-8/3})$를 향상시킨다.
• 비볼록 문제에 대해서는 SGD5가 $\varepsilon$-근사 정류점으로 향한 $\widetilde{O}(\varepsilon^{-3.5})$의 수렴 속도를 달성하며, 이는 이전의 $\widetilde{O}(\varepsilon^{-4})$ 수렴 속도를 향상시킨다.
• 향상된 수렴 속도는 로그 인자에 대해 최적이며, 스트로스틱 뉴턴 방법의 최고 수준의 수렴 속도와 일치한다.
• 제안된 알고리즘은 온라인이며, 경사 복잡도가 $n$에 의존하지 않아, 대규모 또는 스트리밍 데이터 환경에 적합하다.
• 이론적 분석은 행렬 스케일링 및 이중 최적화와 같은 응용 분야에서 목적 함수 값의 최소화보다 경사 노름 최소화가 더 중요한 목표임을 확인한다.
• 결과는 가속 기법이 목적 함수 값 감소 외에도 경사 노름 감소에도 효과적으로 재사용될 수 있음을 보여준다.