[논문 리뷰] Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problems

Stefano Sarao Mannelli, Pierfrancesco Urbani|arXiv (Cornell University)|2021. 02. 23.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 고차원 비볼록 경관에서 동역적 평균장 이론을 사용하여 운동량 기반 최적화 방법—Heavy Ball 및 Nesterov 가속화—를 분석적으로 연구한다. 스피iked 행렬-텐서 모델에서 평균 역학의 폐쇄형 식을 유도하며, 이러한 방법들이 수렴을 가속화하지만, 기존의 경사하강법을 초월해 신호 복원의 알고리즘 임계값을 향상시키지 못함을 발견한다.

ABSTRACT

The optimization step in many machine learning problems rarely relies on vanilla gradient descent but it is common practice to use momentum-based accelerated methods. Despite these algorithms being widely applied to arbitrary loss functions, their behaviour in generically non-convex, high dimensional landscapes is poorly understood. In this work, we use dynamical mean field theory techniques to describe analytically the average dynamics of these methods in a prototypical non-convex model: the (spiked) matrix-tensor model. We derive a closed set of equations that describe the behaviour of heavy-ball momentum and Nesterov acceleration in the infinite dimensional limit. By numerical integration of these equations, we observe that these methods speed up the dynamics but do not improve the algorithmic threshold with respect to gradient descent in the spiked model.

연구 동기 및 목표

• 고차원 비볼록 경관에서 운동량 기반 최적화 방법의 평균 역학을 이해하기 위해.
• Heavy Ball 및 Nesterov 가속화가 추론 문제에서 신호 복원을 위한 알고리즘 임계값을 향상시키는지 분석하기 위해.
• 무한차원 극한에서 운동량 방법의 폐쇄형 진화 방정식을 유도하기 위해 동역적 평균장 이론을 적용하기 위해.
• 수렴 속도 및 복원 임계값 측면에서 가속화된 방법과 기존 경사하강법의 성능를 비교하기 위해.
• 다양한 최적화 알고리즘 하에서 스피iked 행렬-텐서 모델의 계층 전이 행동을 특성화하기 위해.

제안 방법

• 운동량 기반 방법의 평균 역학을 기술하는 폐쇄된 연립 상미분 방정식을 도출하기 위해 동역적 평균장 이론(DMFT)을 사용한다.
• 숨겨진 저랭크 신호를 지닌 비볼록 추론 문제의 모델로 작용하는 스피iked 행렬-텐서 모델에 이 형식을 적용한다.
• 계산 상태를 시간에 따라 기록하는 상관 함수 $ C_x(t,t') $, $ C_v(t,t') $, $ R_v(t,t') $, 및 $ R_{x|v}(t,t') $의 진화 방정식을 유도한다.
• 해결책이 반지름 $ \sqrt{N} $ 의 구면 위에 유지되도록 시간에 따라 변하는 라그랑주 승수 $ \mu(t) $ 를 통해 구면 제약 조건을 통합한다.
• 유도된 상태 진화 방정식을 수치적으로 통합하여 수렴성 및 복원 임계값을 연구한다.
• 엄격한 유도를 위해 과다진동(질량이 있는) 및 과소진동(질량이 없는) 동역학 형식을 모두 고려한다.

실험 결과

연구 질문

• RQ1 Heavy Ball 및 Nesterov 가속화는 고차원 비볼록 최적화 경관에서 평균 역학을 어떻게 수정하는가?
• RQ2 운동량 기반 방법이 스피iked 행렬-텐서 모델에서 기존 경사하강법에 비해 신호 복원을 위한 알고리즘 임계값을 향상시키는가?
• RQ3 관성과 운동량은 다수의 국소 최소값을 지닌 복잡한 비볼록 에너지 경관을 탐색하는 데 어떤 역할을 하는가?
• RQ4 구면 제약 조건은 가속화된 최적화 방법의 수렴 행동에 어떤 영향을 미치는가?
• RQ5 신호 대 잡음 비율에 따라 복원 임계값에 계층 전이가 존재하는가? 그리고 다양한 알고리즘이 이 임계값에서 어떻게 비교되는가?

주요 결과

• 유도된 상태 진화 방정식은 무한차원 극한에서 Heavy Ball 및 Nesterov 가속화의 평균 역학을 완전한 분석적 기술을 제공한다.
• 운동량 기반 방법은 비볼록 영역에서 수렴 속도를 크게 가속화하여 신호의 기하학적 영역에 도달하는 데 소요되는 시간을 감소시킨다.
• 더 빠른 수렴에도 불구하고, Heavy Ball 및 Nesterov 방법은 모두 기존 경사하강법에 비해 신호 복원을 위한 알고리즘 임계값을 향상시키지 못한다.
• 모든 세 가지 방법—경사하강법, Heavy Ball, Nesterov 가속화—에 대해 동일한 알고리즘 임계값(성공적인 복원을 위한 최소 신호 대 잡음 비율)을 가진다.
• 시스템은 두 가지 동역학적 영역을 나타낸다: 느린 비볼록 탐색 단계와 이후에 신호 대 잡음 비율이 임계값을 초과하면 빠른 수렴 단계.
• 구면 제약 조건은 동역학이 구면 위에 유지되도록 하며, 이는 시간에 따라 변하는 라그랑주 승수 $ \mu(t) $ 를 통해 시행되며, 이는 형식론에서 자연스럽게 유도된다.