[논문 리뷰] Tight Analyses for Non-Smooth Stochastic Gradient Descent

Nicholas J. A. Harvey, Christopher Liaw외 2명|arXiv (Cornell University)|2018. 12. 13.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 21

한 줄 요약

이 논문은 리프시츠 및 강凸 함수에 대한 비미분 가능 확률적 경사하강법(SGD)에 대해 높은 확률에서의 날카운 오차 한계를 제공한다. 논문은 SGD의 최종 반복이 높은 확률에서 $ O(\log T / T) $ 오차를 달성함을 증명하며, 이는 결정론적 경사하강법의 최적 속도를 따라가며 Shamir가 제기한 열린 문제를 해결한다. 접미사 평균화 역시 높은 확률에서 최적의 $ O(1/T) $ 속도를 달성하며, 이는 이전 결과들이 기대값에서만 이론적 한계를 확보하거나 로그 인자에 대해 최적보다 열등한 결과를 내놓았던 것을 향상시킨다.

ABSTRACT

Consider the problem of minimizing functions that are Lipschitz and strongly convex, but not necessarily differentiable. We prove that after $T$ steps of stochastic gradient descent, the error of the final iterate is $O(\log(T)/T)$ with high probability. We also construct a function from this class for which the error of the final iterate of deterministic gradient descent is $Ω(\log(T)/T)$. This shows that the upper bound is tight and that, in this setting, the last iterate of stochastic gradient descent has the same general error rate (with high probability) as deterministic gradient descent. This resolves both open questions posed by Shamir (2012). An intermediate step of our analysis proves that the suffix averaging method achieves error $O(1/T)$ with high probability, which is optimal (for any first-order optimization method). This improves results of Rakhlin (2012) and Hazan and Kale (2014), both of which achieved error $O(1/T)$, but only in expectation, and achieved a high probability error bound of $O(\log \log(T)/T)$, which is suboptimal. We prove analogous results for functions that are Lipschitz and convex, but not necessarily strongly convex or differentiable. After $T$ steps of stochastic gradient descent, the error of the final iterate is $O(\log(T)/\sqrt{T})$ with high probability, and there exists a function for which the error of the final iterate of deterministic gradient descent is $Ω(\log(T)/\sqrt{T})$.

연구 동기 및 목표

• 비미분 가능하고 강凸인 함수에 대해 확률적 경사하강법의 최종 반복의 수렴 속도에 관한 열린 문제를 해결하기 위해.
• 최종 반복에 대한 $ O(\log T / T) $ 기대 오차 한계가 강凸 및 비미분 가능 설정에서 높은 확률에서 날카로운지 확인하기 위해.
• 접미사 평균화가 높은 확률에서 최적의 $ O(1/T) $ 오차 속도를 달성하는지 분석하기 위해.
• 비미분 가능 및 강凸 설정에서조차도 $ \log T $ 인자가 필요하다는 것을 증명하기 위해, 이는 결정론적 경사하강법에 대해서도 마찬가지로 성립한다.
• 최근 $ k $개 반복의 임의의 볼록 조합이 $ \log(T/k) $ 인자를 포함하게 되며, 이는 최적성에 도달하기 위해 접미사 평균화가 최소한 일정 비율의 반복을 평균화해야 한다는 것을 의미한다.

제안 방법

• 서브기울기 노이즈를 다루기 위해 모멘트 생성 함수(MGF)를 사용하며, 기존의 서브기울기 노름에 대한 상수 한계를 랜덤 변수로 대체하여 높은 확률에서의 농도를 향상시킨다.
• 핵심적인 기술적 혁신은 MGF 삼각부등식(Hölder 또는 코시-슈바르츠를 통해)을 사용하여 이전에는 상수로 취급되었던 노이즈 항의 MGF를 분리하고 경계하는 것이다.
• 특정 1차원 함수 $ f(x) = \frac{1}{2}x^2 $를 $ [-1,1] $에서 정의하고 대칭 서브기울기 노이즈를 도입하여 최종 반복 및 접미사 평균의 하한을 유도한다.
• 독립적인 라데마처 랜덤 변수 합에 대한 레마 G.1(농도 부등식)을 적용하여 최종 반복 또는 평균이 확률 적어도 $ \delta $ 이상에서 $ \Omega(\log(1/\delta)/T) $를 초과함을 보인다.
• SGD의 최종 반복과 접미사 평균화의 성능을 비교하여, 동일한 가정 하에 둘 다 동일한 높은 확률 수렴 속도를 달성함을 보여준다.
• 특정 함수를 구성함으로써 결정론적 경사하강법의 최종 반복이 $ \Omega\left(\log T / T\right) $ 오차를 유발함을 증명함으로써 $ \log T $ 인자의 날카로움을 입증한다.

실험 결과

연구 질문

• RQ1 강凸 및 비미분 가능 함수에 대해 SGD의 최종 반복에 대한 $ O(\log T / T) $ 기대 오차 한계가 높은 확률에서 날카로운가?
• RQ2 접미사 평균화가 높은 확률에서 최적의 $ O(1/T) $ 오차 속도를 달성할 수 있는가, 아니면 이전의 $ O(\log \log T / T) $ 높은 확률 한계가 최적보다 열등한가?
• RQ3 최종 반복에 대한 오차 한계에서 $ \log T $ 인자는 비미분 가능 및 강凸 설정에서조차 필수적인가, 결정론적 설정에서도 마찬가지인가?
• RQ4 비미분 가능하고 강凸인 설정에서 SGD의 최종 반복이 결정론적 경사하강법과 동일한 높은 확률 수렴 속도를 달성하는가?
• RQ5 최적의 $ O(1/T) $ 속도를 높은 확률에서 달성하기 위해 접미사 평균화가 평균화해야 하는 최근 반복의 최소 수는 얼마인가?

주요 결과

• 리프시츠 및 강凸 함수에서 SGD의 최종 반복은 높은 확률에서 $ O(\log T / T) $ 오차를 달성하며, 이는 결정론적 경사하강법의 최적 속도와 일치한다.
• 최종 반복이 $ \Omega(\log T / T) $ 오차를 유발하는 함수가 존재하며, 이는 $ \log T $ 인자가 필요하고 상한이 날카로움을 증명한다.
• 접미사 평균화는 높은 확률에서 $ O(1/T) $ 오차를 달성하며, 이는 최적이며 이전 결과들이 기대값에서만 이론적 한계를 확보하거나 $ \log \log T $ 인자를 포함했던 것을 향상시킨다.
• 최근 $ k $개 반복의 임의의 볼록 조합은 오차에 $ \log(T/k) $ 인자를 포함하게 되며, 이는 최적성을 달성하기 위해 접미사 평균화가 최소한 일정 비율의 반복을 평균화해야 한다는 것을 의미한다.
• 최종 반복의 높은 확률 오차 한계는 $ \Omega(\log(1/\delta)/T) $이며, 이는 어떤 높은 확률 보장에서도 $ \log(1/\delta) $ 의존성이 필수적임을 보여준다.
• 비미분 가능하고 볼록 함수(강凸이 아닐 수도 있음)에 대해 SGD의 최종 반복은 높은 확률에서 $ O(\log T / \sqrt{T}) $ 오차를 달성하며, 이 한계는 날카롭다.