[논문 리뷰] On Learning Rates and Schrödinger Operators

Bin Shi, Weijie Su외 1명|arXiv (Cornell University)|2020. 04. 15.

Machine Learning and Algorithms참고 문헌 69인용 수 13

한 줄 요약

이 논문은 비볼록 최적화에서 확률적 경사 하강법(SGD)을 모델링하기 위해 학습률에 의존하는 확률적 미분 방정식(lr-SDE)을 도입한다. 위튼-라플라스 연산자—스체르링거 연산자에 속하는 것—의 스펙트럼을 분석함으로써 선형 수렴 속도에 대한 명시적 표현을 유도하며, 이는 비볼록 설정에서 학습률이 감소할수록 빠르게 감소하는 것을 보여주며, 강한 볼록 케이스에서는 일정하게 유지되는 것과 대조된다. 이는 딥러닝에서 학습률 감소 전략의 이론적 기반을 제공한다.

ABSTRACT

The learning rate is perhaps the single most important parameter in the training of neural networks and, more broadly, in stochastic (nonconvex) optimization. Accordingly, there are numerous effective, but poorly understood, techniques for tuning the learning rate, including learning rate decay, which starts with a large initial learning rate that is gradually decreased. In this paper, we present a general theoretical analysis of the effect of the learning rate in stochastic gradient descent (SGD). Our analysis is based on the use of a learning-rate-dependent stochastic differential equation (lr-dependent SDE) that serves as a surrogate for SGD. For a broad class of objective functions, we establish a linear rate of convergence for this continuous-time formulation of SGD, highlighting the fundamental importance of the learning rate in SGD, and contrasting to gradient descent and stochastic gradient Langevin dynamics. Moreover, we obtain an explicit expression for the optimal linear rate by analyzing the spectrum of the Witten-Laplacian, a special case of the Schrödinger operator associated with the lr-dependent SDE. Strikingly, this expression clearly reveals the dependence of the linear convergence rate on the learning rate -- the linear rate decreases rapidly to zero as the learning rate tends to zero for a broad class of nonconvex functions, whereas it stays constant for strongly convex functions. Based on this sharp distinction between nonconvex and convex problems, we provide a mathematical interpretation of the benefits of using learning rate decay for nonconvex optimization.

연구 동기 및 목표

• 비볼록 최적화에서 학습률이 수렴에 미치는 영향을 이론적으로 이해하는 것.
• 비볼록 설정에서 경험적 실천인 학습률 감소와 이론적 정당화 사이의 격차를 메우는 것.
• 학습률에 의존하는 연속시간 lr-SDE로 SGD를 모델링하고, 스펙트럼 이론을 사용해 그 수렴 성질을 분석하는 것.
• 비볼록 문제와 강한 볼록 문제 간의 학습률에 대한 수렴 행동의 근본적인 차이를 드러내는 것.
• 큰 초기 학습률과 감소 스케줄이 최적화 성능을 향상시키는 이유를 수학적으로 해석하는 것.

제안 방법

• 이산적 SGD의 연속시간 대체물로 학습률에 의존하는 확률적 미분 방정식(lr-SDE)을 수립하는 것.
• lr-SDE의 확률 밀도의 시간 진화를 기술하기 위해 포커-플랑크-스몰وخ프스키 방정식을 사용하는 것.
• lr-SDE와 관련된 위튼-라플라스 연산자—특수한 형태의 슈뢰딩거 연산자—의 스펙트럼을 분석하는 것.
• 목적 함수에 대한 정규성 조건이 만족될 경우 lr-SDE의 선형 수렴 속도를 확립하는 것.
• 학습률과 모스 안장 장벽 $ H_{f,\bullet} $ 를 포함한 선형 수렴 속도에 대한 명시적 표현을 유도하는 것.
• 스펙트럼 이론과 점근적 분석을 적용하여, 작은 학습률 한계에서 위튼-라플라스 연산자의 고유값의 감쇠를 특성화하는 것.

실험 결과

연구 질문

• RQ1 학습률은 비볼록 최적화에서 SGD의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 왜 학습률 감소가 딥 네URAL 네트워크 최적화 성능을 향상시키는가?
• RQ3 SGD 하에서 비볼록 문제와 강한 볼록 문제 간의 수렴 행동에 근본적인 차이는 무엇인가?
• RQ4 SGD의 수렴 속도를 학습률과 목적 함수의 기하적 성질에 대해 명시적으로 표현할 수 있는가?
• RQ5 위튼-라플라스 연산자의 스펙트럼 구조는 SGD의 역학과 어떻게 관련이 있는가?

주요 결과

• 비볼록 모스 함수의 광범위한 클래스에서, lr-SDE의 선형 수렴 속도는 학습률 $ s \to 0 $ 일 때 급격히 0으로 감소한다.
• 반대로, 강한 볼록 함수의 경우 $ s \to 0 $ 일 때 선형 수렴 속도는 일정하게 유지되며, 이는 볼록과 비볼록 설정 간의 근본적인 차이를 드러낸다.
• 최적의 선형 수렴 속도는 위튼-라플라스 연산자의 스펙트럼을 통해 명시적으로 표현되며, 학습률과 모스 안장 장벽 $ H_{f,\bullet} $ 에 대한 의존성을 포함한다.
• 위튼-라플라스 연산자의 고유값은 $ \delta_{s,\ell} = s(\gamma_\ell + o(s)) \mathrm{e}^{-2H_{f,\ell}/s} $ 를 만족하며, 이는 장벽 높이에 대해 지수적 의존성을 보인다.
• 이 이론은 딥 네URAL 네트워크 학습에서 큰 초기 학습률과 감소 스케줄을 사용하는 것이 타당함을 정당화하며, 이는 비볼록 경관에서 더 빠른 수렴을 가능하게 한다.
• 이 프레임워크는 비볼록 최적화에서 기울기 노이즈와 학습률의 역할을 이해하기 위한 정량적 기반을 제공한다.