[논문 리뷰] Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization

Aaron Defazio|arXiv (Cornell University)|2020. 10. 01.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 비볼록 최적화에서 동작하는 확률적 경사 하강법에 관성 항을 추가한 SGD+M에 대해 원시 평균화(Primal Averaging, PA) 재구성 방식을 활용한 새로운 라플라스 분석을 제안하며, 관성 항이 수렴을 가속화하는 정확한 조건을 규명한다. 급격한 학습률 변화가 안정성에 악영향을 미친다는 점을 밝히고, 수렴성을 유지하면서 훈련 손실 급등을 방지하는 점진적 초모수 스케줄링 전략을 제안한다.

ABSTRACT

Momentum methods are now used pervasively within the machine learning community for training non-convex models such as deep neural networks. Empirically, they out perform traditional stochastic gradient descent (SGD) approaches. In this work we develop a Lyapunov analysis of SGD with momentum (SGD+M), by utilizing a equivalent rewriting of the method known as the stochastic primal averaging (SPA) form. This analysis is much tighter than previous theory in the non-convex case, and due to this we are able to give precise insights into when SGD+M may out-perform SGD, and what hyper-parameter schedules will work and why.

연구 동기 및 목표

• 기존 연구보다 더 날카우면서 통찰력 있는 비볼록 환경에서의 SGD+M에 대한 라플라스 분석을 제공하기 위해.
• 특히 초기 훈련 단계에서 관성이 최적화를 가속화하는 이유를 설명하기 위해.
• 관성 방법 내에서 표준적인 급격한 학습률 스케줄링 방식의 결함을 규명하기 위해.
• 안정성과 성능을 유지하는 새로운 점진적 초모수 스케줄링 전략을 제안하기 위해.

제안 방법

• SGD+M을 확률적 원시 평균화(Stochastic Primal Averaging, SPA) 형태로 재구성하며, 알고리즘의 핵심 구성 요소로 보조 변수 $ z_k $ 를 도입한다.
• SPA 형태에 대해 라플라스 함수 분석을 적용하여 $ f(z_k) - f^* $ 와 관성 관련 항의 변화를 추적한다.
• 라플라스 함수 증분에 대한 경계를 유도하며, 이 경계는 $ \|x_k - x_{k-1}\|^2 $, $ \|g_k\|^2 $, 그리고 기울기 노이즈 $ \sigma^2 $ 에 의존하는 항들을 포함한다.
• SPA 형태와 표준 SGD+M 간의 등가성을 활용하여, 관성 항이 유리하거나 해로울 수 있는 조건을 도출한다.
• 학습률 $ \alpha_k $ 와 관성률 $ \beta_k $ 의 변화가 라플라스 함수 안정성에 미치는 영향을 분석하며, 급격한 변화가 라플라스 함수를 불안정하게 만든다는 것을 보여준다.
• 학습률과 관성률에 대해 기하학적 점진적 스케줄링 전략을 제안하며, 매 단계에서 $ \eta $ 와 $ c $ 를 작은 요소(예: 1.0005)로 조정하여 불안정성을 방지한다.

실험 결과

연구 질문

• RQ1 비볼록 문제에서 SGD+M의 관성 항이 표준 SGD보다 수렴 성능을 향상시키는 조건은 무엇인가?
• RQ2 왜 SGD+M에 대한 표준 단계별 학습률 스케줄링 방식이 실질적으로 훈련 손실 급등을 유발하는가?
• RQ3 학습률과 관성률 매개변수의 변화가 원시 평균화 프레임워크 내에서 라플라스 함수 안정성에 미치는 영향은 어떠한가?
• RQ4 원시 평균화 형태에서 관성 동역학을 불안정하게 하지 않으면서도 안정적인 수렴을 보장하는 초모수 스케줄링 전략은 무엇인가?
• RQ5 원시 평균화 재구성은 기존의 SGD+M 분석보다 관성 방법의 행동에 대해 더 깊은 이론적 통찰을 제공할 수 있는가?

주요 결과

• 원시 평균화 형태의 라플라스 분석을 통해 관성이 $ \|x_k - x_{k-1}\|^2 $ 에 의존하는 추가 항을 도입함을 규명하였으며, 이는 초모수가 급격히 변화할 경우 불안정성을 유발할 수 있다.
• 급격적인 학습률 감소는 라플라스 단계에서 $ \|x_k - x_{k-1}\|^2 $ 의 계수를 양수로 만들며, 이는 불안정성과 훈련 손실 급등을 초래한다.
• 매 단계에서 $ \eta $ 와 $ c $ 를 작은 요소로 기하학적으로 조정하는 점진적 스케줄링 전략은 불안정성을 방지하며, $ \|x_k - x_{k-1}\|^2 $ 에 대해 음수 계수를 유지한다.
• 특히 $ c = 0.1 $ 이고 $ \eta L = 0.1 $ 일 경우, 단계 간에 허용 가능한 최대 승수 변화량 $ r $ 는 약 $ 1.01 $ 이며, 이는 안정성을 보장한다.
• CIFAR-10 및 ImageNet에서의 실험 결과는 점진적 스케줄링 전략이 훈련 손실 급등을 방지하고 표준 스케줄링 대비 최종 테스트 정확도를 유지함을 보여준다.
• 분석 결과, 학습률 $ \alpha $ 가 아닌 관성률 $ \beta $ 를 감소시키는 것이 더 안정적인 전략일 수 있으나, 이는 점진적으로 수행되어야 한다.