[논문 리뷰] Better SGD using Second-order Momentum

Hoang Vu Tran, Ashok Cutkosky|arXiv (Cornell University)|2021. 03. 04.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 비볼록 설정에서 $\epsilon$-임계점(\epsilon$-critical points)을 찾는 데 최적의 $O(\epsilon^{-3})$ 수렴 속도를 달성하기 위해 모멘텀 편향을 보정하기 위해 헤시안-벡터 곱을 통합한 새로운 확률적 최적화 알고리즘 SGDHess를 제안한다. 기존의 두 번째 차수 방법과 달리, 큰 배치 크기를 요구하지 않으며, 적응형 학습률을 가능하게 하여 딥러닝 벤치마크에서 실용성과 성능을 향상시킨다.

ABSTRACT

We develop a new algorithm for non-convex stochastic optimization that finds an $ε$-critical point in the optimal $O(ε^{-3})$ stochastic gradient and Hessian-vector product computations. Our algorithm uses Hessian-vector products to "correct" a bias term in the momentum of SGD with momentum. This leads to better gradient estimates in a manner analogous to variance reduction methods. In contrast to prior work, we do not require excessively large batch sizes, and are able to provide an adaptive algorithm whose convergence rate automatically improves with decreasing variance in the gradient estimates. We validate our results on a variety of large-scale deep learning architectures and benchmarks tasks.

연구 동기 및 목표

• 비볼록 딥러닝 설정에서 표준 SGD를 초월해 수렴을 향상시키는 실용적인 두 번째 차수 최적화 방법을 개발하는 것.
• $\epsilon$-임계점(\epsilon$-critical points)을 찾기 위해 필요한 확률적 그래디언트 및 헤시안-벡터 오라클 호출 수를 줄이는 것.
• 기존 두 번째 차수 방법에서 흔히 볼 수 있는 큰 배치 크기에 의존하지 않는 것.
• 기울기 노이즈가 낮을 때 수렴을 자동으로 향상시킬 수 있는 적응형 변형을 설계하는 것.
• 다양한 딥러닝 아키텍처와 작업에서 방법의 실증적 검증을 수행하는 것.

제안 방법

• 알고리즘은 SGD의 모멘텀에서 발생하는 편향 항을 보정하기 위해 헤시안-벡터 곱을 도입하여 기울기 추정치를 향상시킨다.
• 진전을 추적하고 수렴 한계를 유도하기 위해 리아푸노프 함수 $\Phi_t$를 사용하며, 기울기 및 오차 항을 모두 통합한다.
• 탐색과 수렴을 균형 잡기 위해 감소하는 학습률 스케줄 $\eta_t$를 사용한다.
• 정규화된 변형은 리프시츠 기울기 가정이 필요 없게 하여 강건성을 향상시킨다.
• 적응형 변형은 관측된 기울기 분산에 기반해 학습률을 동적으로 조정하여, 노이즈가 낮을 경우 $O(\epsilon^{-2})$ 수렴 속도를 달성한다.
• 이론적 분석은 헤시안-벡터 곱과 기울기 노이즈의 성질을 이용해 리아푸노프 함수의 기대 감소를 경계하는 데 기반한다.

실험 결과

연구 질문

• RQ1 큰 배치 크기를 요구하지 않으면서도, 헤시안-벡터 곱을 활용해 비볼록 최적화에서 SGD의 수렴을 향상시킬 수 있는가?
• RQ2 헤시안-벡터 곱을 통한 두 번째 차수 정보 통합이 표준 SGD보다 더 빠른 수렴 속도를 이끌어낼 수 있는가?
• RQ3 기울기 노이즈가 감소할 경우 알고리즘이 자동으로 수렴을 향상시킬 수 있는가?
• RQ4 제안된 방법은 다양한 딥러닝 아키텍처와 작업에서 실용적으로 효과적인가?
• RQ5 알고리즘이 $\epsilon$-임계점(\epsilon$-critical points)을 찾기 위해 이론적으로 가능한 최하한인 $O(\epsilon^{-3})$ 오라클 호출 수를 달성할 수 있는가?

주요 결과

• 제안된 SGDHess 알고리즘은 비볼록 확률적 최적화에서 $\epsilon$-임계점(\epsilon$-critical points)을 찾는 데 최적의 $O(\epsilon^{-3})$ 수렴 속도를 달성한다.
• 다른 많은 기존 두 번째 차수 방법과 달리, 큰 배치 크기가 필요하지 않아 대규모 학습에 더 실용적이다.
• 기울기 노이즈가 무시할 만큼 낮을 경우, 적응형 변형이 더 빠른 $O(\epsilon^{-2})$ 수렴 속도를 달성한다.
• 정규화된 변형은 리프시츠 기울기 가정이 필요 없게 하여 적용 범위를 넓힌다.
• 실증 결과는 다양한 딥러닝 벤치마크와 아키텍처에서 일관된 성능 향상을 보이며, 종종 최첨단 방법을 능가한다.
• 튜닝 과정이 단순하며, 많은 하이퍼파rameter들이 표준 SGD에서 그대로 이식 가능하다.