[논문 리뷰] Understanding the Role of Momentum in Non-Convex Optimization: Practical Insights from a Lyapunov Analysis.

Aaron Defazio|arXiv (Cornell University)|2020. 10. 01.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 9

한 줄 요약

이 논문은 비볼록 설정에서 확률적 경사하강법에 관성항을 추가한(SGD+M) 알고리즘을 확률적 원 primal 평균화(Stochastic Primal Averaging, SPA) 형태로 재구성함으로써, 관성항이 최적화 성능을 향상시키는 정확한 조건을 규명하는 엄밀한 리아푸노프 분석을 제공한다. 이 분석은 어떤 초모수 스케줄이 성공하는지에 대한 이유를 설명하며, 경험적 관찰을 넘어서 관성항의 역할에 대한 실질적인 통찰을 제공한다.

ABSTRACT

Momentum methods are now used pervasively within the machine learning community for training non-convex models such as deep neural networks. Empirically, they out perform traditional stochastic gradient descent (SGD) approaches. In this work we develop a Lyapunov analysis of SGD with momentum (SGD+M), by utilizing a equivalent rewriting of the method known as the stochastic primal averaging (SPA) form. This analysis is much tighter than previous theory in the non-convex case, and due to this we are able to give precise insights into when SGD+M may out-perform SGD, and what hyper-parameter schedules will work and why.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 비볼록 모델 훈련에서 관성항의 경험적 성공 배경에 있는 이론적 메커니즘을 이해하기 위해.
• 이전 이론이 흐릿하거나 적용 불가능한 비볼록 설정에서 SGD에 관성항을 추가한(SGD+M) 알고리즘에 대한 엄밀한 이론적 분석의 부족을 보완하기 위해.
• SGD+M이 표준 SGD보다 성능을 높이는 정확한 조건을 리아푸노프 함수 접근법을 통해 도출하기 위해.
• 이론적 통찰에 기반한 관성항의 초모수 스케줄에 대한 실질적인 지침을 제공하기 위해.
• 비볼록 최적화에서 관성항의 경험적 관찰과 이론적 이해 사이의 격차를 메우기 위해.

제안 방법

• 저자는 관성항을 추가한 SGD(SGD+M)를 확률적 원 primal 평균화(Stochastic Primal Averaging, SPA) 형태로 재구성하여, 더 해석 가능하고 분석 가능한 프레임워크를 제공한다.
• 비볼록 최적화에서 SPA 형태로 재구성된 알고리즘의 안정성과 수렴 행동을 분석하기 위해 리아푸노프 함수를 구성한다.
• 리아푸노프 분석을 적용하여 목적 함수 값의 기대 감소량에 대한 경계를 유도하며, 이는 관성항이 궤적 동역학에 미치는 영향을 포괄한다.
• 이 방법은 관성항이 비볼록 경로에서 진동을 줄이고 수렴 속도를 높이는 조건을 규명한다.
• SGD+M과 SPA 간의 등가성을 활용하여 이전 방법보다 더 엄밀한 이론적 보장을 도출한다.
• 초모수 스케줄을 리아푸노프 함수의 감쇠율 관점에서 평가하여 그 경험적 성공을 설명한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 SGD의 관성항이 표준 SGD보다 더 빠른 수렴을 이끌어내는 조건은 무엇인가?
• RQ2 왜 일부 관성항 초모수 스케줄(예: 감쇠하는 관성항)이 다른 것들보다 경험적으로 더 성능이 뛰어나게 되는가?
• RQ3 비볼록 설정에서 SGD에 관성항을 적용한 경우의 행동을 엄밀하게 분석하기 위해 리아푸노프 함수를 어떻게 구성할 수 있는가?
• RQ4 비볼록 손실 경로에서 관성항은 진동을 억제하고 날카로운 최소값을 탐색하는 데 어떤 역할을 하는가?
• RQ5 SGD+M의 SPA 재구성은 기존 방법보다 더 정밀한 이론적 분석을 가능하게 하는가?

주요 결과

• SPA 형태로의 리아푸노프 분석은 이전의 비볼록 SGD+M 분석보다 훨씬 엄밀한 이론적 경계를 제공한다.
• 목적 함수가 충분한 곡률 변화를 보일 경우, 특히 헤시안 행렬의 변화가 큰 영역에서 관성항이 최적화 성능을 향상시킨다.
• 분석 결과, 관성항은 고리형 영역과 날카로운 최소값 근처에서 특히 진동 행동을 감소시킴을 밝혀낸다.
• 시간이 지남에 따라 감쇠하는 최적의 초모수 스케줄은 리아푸노프 함수의 감쇠율에 의해 이론적으로 정당화된다.
• SPA 재구성은 과거 기울기의 가중 평균 형태로 관성항을 더 명확히 해석할 수 있도록 하여 업데이트의 안정성을 높인다.
• 이론적 프레임워크는 관성항이 궤적을 매끄럽게 하여 더 평탄한 최소값을 선호함으로써 딥 러닝에서 표준 SGD보다 일반화 성능이 뛰어나지 않는 이유를 설명한다.