[논문 리뷰] Momentum-Based Variance Reduction in Non-Convex SGD

Ashok Cutkosky, Francesco Orabona|OpenBU (Boston University)|2019. 05. 24.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 31

한 줄 요약

이 논문은 비볼록 스위치 최적화를 위한 동적 기반 분산 감소 알고리즘인 Storm을 제안한다. 이 알고리즘은 큰 '메가배치'와 고정된 학습률이 필요로 하지 않으며, 적응형 학습률과 새로운 모멘타움 메커니즘을 활용하여, 기울기 분산이나 체크포인트 기울기 지식이 없이도 최적의 수렴 속도 $O(1/T^{1/3})$를 달성한다. 이는 하이퍼파rameter 조정을 크게 단순화하면서도 최신 이론적 성능을 유지한다.

ABSTRACT

Variance reduction has emerged in recent years as a strong competitor to stochastic gradient descent in non-convex problems, providing the first algorithms to improve upon the converge rate of stochastic gradient descent for finding first-order critical points. However, variance reduction techniques typically require carefully tuned learning rates and willingness to use excessively large "mega-batches" in order to achieve their improved results. We present a new algorithm, STORM, that does not require any batches and makes use of adaptive learning rates, enabling simpler implementation and less hyperparameter tuning. Our technique for removing the batches uses a variant of momentum to achieve variance reduction in non-convex optimization. On smooth losses $F$, STORM finds a point $\boldsymbol{x}$ with $\mathbb{E}[\| abla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$ in $T$ iterations with $σ^2$ variance in the gradients, matching the optimal rate but without requiring knowledge of $σ$.

연구 동기 및 목표

• 기존 분산 감소 방법의 비볼록 최적화에서의 한계, 특히 큰 고정 크기의 배치와 수동으로 조정된 학습률에 대한 의존성을 해결하기 위해.
• 체크포인트 기울기나 기울기 분산에 대한 사전 지식이 없이도 최적의 수렴 속도를 달성하는 실용적이고 강력한 최적화 알고리즘을 개발하기 위해.
• 모멘타움이 비볼록 스위치 최적화에서 분산 감소와 공식적으로 연결될 수 있는지를 이론적으로 설명하기 위해.
• 제안된 알고리즘이 표준 기준인 Adam과 AdaGrad보다 하이퍼파rameter 조정을 최소화하면서도 훈련 손실 수렴에서 뛰어난 성능을 보임을 경험적으로 입증하기 위해.

제안 방법

• 알고리즘은 체크포인트 지점에서 기울기를 명시적으로 계산하지 않고도 분산 감소를 근사하는 재귀적 모멘타움 업데이트를 사용한다.
• 관측된 기울기 노이즈에 기반해 동적으로 조정되는 적응형 학습률 스케줄을 적용하여 수동 조정이 필요 없도록 한다.
• 핵심 업데이트 규칙은 스위치 기울기와 역사를 추적하는 모멘타움 항목을 조합하여 업데이트 방향의 분산을 효과적으로 감소시킨다.
• 농도 불등식과 거듭제곱 함수의 볼록성의 활용을 통해 기울기의 기대 노름에 대한 새로운 경계를 사용하여 공식적으로 분석한다.
• 표준 딥러닝 프레임워크와 호환되도록 설계되었으며, 복잡한 배치 스케줄링을 피하는 단순한 구현을 제공한다.
• 이론적 분석 결과, Storm은 기울기 노이즈 수준 $\sigma^2$를 알지 못해도 스무스 비볼록 함수에 대해 최적의 수렴 속도 $O(1/T^{1/3})$를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 스위치 최적화에서 모멘타움이 단지 히우리스틱 향상이 아니라 공식적으로 분산 감소와 연결될 수 있는가?
• RQ2 기울기 체크포인트를 위한 큰 '메가배치'를 사용하지 않고도 비볼록 SGD에서 최적의 $O(1/T^{1/3})$ 수렴을 달성할 수 있는가?
• RQ3 적응형 학습률을 분산 감소와 효과적으로 조합하여 딥러닝 최적화에서 하이퍼파rameter 민감도를 줄일 수 있는가?
• RQ4 모멘타움 기반 접근법이 SVRG와 같은 전통적 분산 감소 기법과 비교해 이론적으로 유리한 점을 제공하는가?

주요 결과

• Storm은 스무스 비볼록 문제에서 일阶 임계점(First-order critical points)을 찾는 데 최적의 수렴 속도 $O(1/T^{1/3})$를 달성하며, 기존에 알려진 최고의 이론적 경계를 그대로 유지한다.
• 이 알고리즘은 기울기 분산 $\sigma^2$를 알지 못하더라도 작동하므로 스위치 기울기 내의 알려지지 않은 노이즈 수준에 대해 강건하다.
• 이 알고리즘은 어떤 배치나 체크포인트 기울기 또한 필요로 하지 않아, 실용적 구현에 장애가 되는 큰 고정 크기의 배치 계산이 필요 없어진다.
• ResNet-32를 사용한 CIFAR-10에서의 경험적 결과는 Storm이 AdaGrad와 Adam보다 훈련 손실과 정확도 수렴에서 더 빠르게 수렴하며, 조정할 수 있는 하이퍼파rameter가 오직 하나뿐임을 보여준다.
• 알고리즘의 업데이트 규칙은 표준 SGD와 모멘타움의 구조와 유사하므로, 실제로 모멘타움이 암묵적으로 분산 감소를 수행할 수 있음을 시사한다.
• 이론적 분석은 Storm의 수렴이 $O(1/√{T} + \sigma^{1/3}/T^{1/3})$에 의존함을 확인하였으며, 이는 최적의 수렴 속도와 일치하고 알려지지 않은 노이즈 수준에 적응 가능하다.