[논문 리뷰] A Diffusion Approximation Theory of Momentum SGD in Nonconvex Optimization

Tianyi Liu, Zhehui Chen외 2명|arXiv (Cornell University)|2018. 02. 14.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 비볼록 최적화에서 동결된 확산 근사 이론을 개발하여, 모멘텀이 엣지에서의 탈출을 가속화하지만, 단계 크기나 모멘텀을 점차 줄이지 않으면 국소 최적점 근처에서 수렴을 방해한다는 것을 보여준다. 분석 결과, 작은 단계 크기로 동작하는 MSGD는 효과적으로 더 큰 단계 크기를 가진 VSGD와 유사하게 행동함을 보여주며, 딥 러닝에서의 경험적 성공을 설명한다.

ABSTRACT

Momentum Stochastic Gradient Descent (MSGD) algorithm has been widely applied to many nonconvex optimization problems in machine learning, e.g., training deep neural networks, variational Bayesian inference, and etc. Despite its empirical success, there is still a lack of theoretical understanding of convergence properties of MSGD. To fill this gap, we propose to analyze the algorithmic behavior of MSGD by diffusion approximations for nonconvex optimization problems with strict saddle points and isolated local optima. Our study shows that the momentum helps escape from saddle points, but hurts the convergence within the neighborhood of optima (if without the step size annealing or momentum annealing). Our theoretical discovery partially corroborates the empirical success of MSGD in training deep neural networks.

연구 동기 및 목표

• 비볼록 최적화에서 모멘텀 경사 하강법(MSGD)에 대한 이론적 이해 부족 문제를 다루며, 특히 딥 네URAL 네트워크 학습에서의 경험적 성공을 설명한다.
• 비볼록 경관에서 고립된 국소 최적점과 엄격한 엣지 점을 갖는 경우, 모멘텀이 엄격한 엣지 점에서의 탈출과 국소 최적점으로의 수렴에 미치는 역할을 분석한다.
• MSGD의 행동과 실제 성능 간의 이론적 연결을 구축하며, 특히 날카로운 국소 최소값을 피하는 데에 초점을 맞춘다.
• 비볼록 문제에 대해 확산 근사와 SDE로의 약한 수렴을 통합하여 기존 VSGD 및 MSGD의 수렴 결과를 확장한다.
• 이론적 제약에도 불구하고, 동일한 하이퍼파rameter 조건에서 VSGD보다 더 큰 효과적 단계 크기를 사용하면서도 일반화 성능을 유지할 수 있는 이유를 설명한다.

제안 방법

• 단계 크기 → 0으로 수렴할 때, 이산적 MSGD 궤적을 연속 시간 확산 근사로 모델링하기 위해 약한 수렴을 통한 연속 시간 확률적 미분 방정식(SDE)으로 변환한다.
• 이산적 MSGD 반복을 연속 시간 과정으로 매핑하기 위해 보간 기법을 적용하여, 비볼록 조건 하에서 ODE 및 SDE로의 약한 수렴 분석을 가능하게 한다.
• 기울기 크기가 확률적 변동성보다 우세한 비정적 상태 영역에서 ODE 근사를 통해 전역 역학을 분석하며, 모멘텀이 $\frac{1}{1-\mu}$ 배의 속도로 내림을 가속화함을 보여준다.
• 정적 상태점 근처에서의 국소 행동을 분석하기 위해 정규화된 오차 수열을 사용하며, 연속적 보간이 비특이 확산 계수를 가진 SDE의 해로 약한 수렴함을 보여준다.
• 엄격한 엣지 성질과 고립된 국소 최적점 가정을 활용하여, 알고리즘이 탈출 및 수렴 영역 모두에서의 행동을 특성화한다.
• 저랭크 행렬 문제에서 회전 대칭 거리 척도(예: 주성분 각도)를 사용하여 연결된 국소 최적점으로 분석을 확장하여 오차의 유계 특성화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 MSGD의 모멘텀은 비볼록 최적화에서 엄격한 엣지 점에서의 탈출에 어떻게 영향을 미치는가?
• RQ2 단계 크기 조정 없이도 MSGD가 VSGD보다 실용적으로 뛰어난 성능을 보이는 이유는 무엇인가?
• RQ3 단계 크기를 점차 줄이지 않을 경우, 모멘텀은 국소 최적점 근처에서 수렴에 어떤 영향을 미치는가?
• RQ4 동일한 하이퍼파rameter 조건에서 MSGD의 효과적 단계 크기와 VSGD의 비교는 어떻게 되며, 관측된 성능 격차는 무엇으로 설명되는가?
• RQ5 확산 근사 프레임워크는 왜 MSGD가 딥 러닝에서 더 평탄하고 일반화 성능이 뛰어난 최소값으로 수렴하는지 설명할 수 있는가?

주요 결과

• 모멘텀은 비정적 상태 영역에서 내림 방향 탐색을 강화함으로써 엄격한 엣지 점에서의 탈출 속도를 $\frac{1}{1-\mu}$ 배로 가속화하며, 이는 알고리즘의 단계당 진전을 효과적으로 증가시킨다.
• 국소 최적점 근처에서는 확률적 기울기 변동성이 지배적이므로, 단계 크기나 모멘텀을 점차 줄이지 않으면 모멘텀이 수렴을 악화시킴을 보여주며, 이는 가속화와 안정성 사이의 상충을 나타낸다.
• 단계 크기 $\eta$와 모멘텀 $\mu$를 갖는 MSGD는 渐진적으로 VSGD와 효과적 단계 크기 $\frac{\eta}{1-\mu}$로 동일하게 행동함을 보여주며, 더 큰 효과적 학습률을 사용할 수 있음을 설명한다.
• MSGD의 정규화된 오차 수열은 정적 상태점 주변에서 SDE의 해로 약한 수렴함을 보이며, 이는 알고리즘의 국소 행동과 노이즈 유도 탐색을 특성화하는 데 기여한다.
• 모멘텀이 유도하는 높은 변동성으로 인해 MSGD는 날카로운 국소 최적점에서의 작동을 피하며, 작은 흡인 영역에서의 탈출을 장려함으로써 경험적 관측과 일치한다.
• 이론은 MSGD가 동일한 효과적 단계 크기로 VSGD보다 더 나은 일반화 성능을 달성할 수 있는 이유를 설명하며, 모멘텀에서 유도되는 증가된 노이즈 덕분에 더 평탄한 최소값을 더 효과적으로 탐색하기 때문이다.