[논문 리뷰] Toward Deeper Understanding of Nonconvex Stochastic Optimization with Momentum using Diffusion Approximations.

Tianyi Liu, Zhehui Chen외 2명|arXiv (Cornell University)|2018. 02. 14.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 비볼록 최적화에서 운동량 확률적 경사하강법(Momentum Stochastic Gradient Descent, MSGD)의 확산 근사 분석을 제공하며, 운동량이 엄격한 안장점에서의 탈출을 가속화하지만 단계 크기 조정이 없는 경우 국소 최적점 근처에서 수렴을 저해한다는 것을 드러낸다. 연구는 마링게일 및 고정 상태 체인 방법을 활용하여 딥 러닝에서 MSGD의 경험적 성공에 대한 이론적 통찰을 제공한다.

ABSTRACT

Momentum Stochastic Gradient Descent (MSGD) algorithm has been widely applied to many nonconvex optimization problems in machine learning. Popular examples include training deep neural networks, dimensionality reduction, and etc. Due to the lack of convexity and the extra momentum term, the optimization theory of MSGD is still largely unknown. In this paper, we study this fundamental optimization algorithm based on the so-called strict saddle problem. By diffusion approximation type analysis, our study shows that the momentum helps escape from saddle points, but hurts the convergence within the neighborhood of optima (if without the step size annealing). Our theoretical discovery partially corroborates the empirical success of MSGD in training deep neural networks. Moreover, our analysis applies the martingale method and Fixed-State-Chain method from the stochastic approximation literature, which are of independent interest.

연구 동기 및 목표

• 비볼록 최적화 설정에서 운동량 확률적 경사하강법(MSGD)의 이론적 행동을 이해하는 것.
• 운동량이 안장점에서의 탈출을 가속화하면서도 국소 최소값 근처에서 수렴을 방해할 수 있는 이중적 역할을 조사하는 것.
• 고급 스토크라스틱 근사 기법—마링게일 방법과 고정 상태 체인 분석을 사용하여 비볼록 MSGD 동역학을 분석하는 것.
• 딥 네URAL 네트워크를 훈련하는 데서 MSGD의 경험적 성공에 대한 엄밀한 이론적 기초를 제공하는 것.

제안 방법

• 분석은 비볼록 경관에서 MSGD 반복의 연속 시간 근사를 모델링하기 위해 확산 근사를 활용한다.
• 연구는 헤시안 행렬이 음의 고유값을 가지지만 국소 최소값이 없는 엄격한 안장 문제에 집중한다.
• 확산 과정에서의 확률적 오차 항을 제어하기 위해 마링게일 방법이 사용된다.
• 장기적인 동역학을 분석하기 위해 고정 상태 체인 방법이 적용된다.
• MSGD를 근사하는 확산 과정의 이동 및 확산 성분을 분석함으로써 이론적 결과가 도출된다.
• 단계 크기 스케줄이 다양할 때 안장점 근처와 국소 최적점 근처에서의 MSGD 행동을 구분하여 분석한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 MSGD의 운동량은 엄격한 안장점에서의 탈출 역학에 어떻게 영향을 미치는가?
• RQ2 단계 크기를 조정하지 않을 경우 운동량은 국소 최소값 근처에서 수렴 속도에 어떤 영향을 미치는가?
• RQ3 확산 근사 기법은 비볼록 설정에서 MSGD 행동을 엄밀하게 특성화할 수 있는가?
• RQ4 마링게일 및 고정 상태 체인 방법은 비볼록 경관에서 MSGD를 분석하는 데 어떻게 기여하는가?

주요 결과

• MSGD의 운동량은 엄격한 안장점에서의 탈출 속도를 크게 향상시켜, 열악한 국소 해를 피하는 데 효과적이라는 것을 설명한다.
• 단계 크기 조정이 없는 경우, 운동량은 국소 최적점 근처에서 수렴 속도를 느리게 하며, 이는 알고리즘 설계에서의 상충 관계를 시사한다.
• 확산 근사 프레임워크는 비볼록 설정에서 MSGD의 정성적 행동을 성공적으로 캐릭터라이즈하며, 이론적 분석에의 적용을 검증한다.
• 마링게일 및 고정 상태 체인 방법의 적용은 비볼록 최적화에서 스토크라스틱 근사에 적용 가능한 새로운 이론적 도구를 제공한다.
• 이론적 발견은 MSGD가 복잡한 손실 경관을 탐색하는 데 있어 딥 러닝 훈련에서 경험적으로 성공한 이유를 부분적으로 설명한다.