[논문 리뷰] Optimal learning rate schedules in high-dimensional non-convex optimization problems

Stéphane d’Ascoli, Maria Refinetti외 1명|arXiv (Cornell University)|2022. 02. 09.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 고차원 비볼록 최적화에서 최적의 학습률 스케줄링에 대한 첫 번째 분석적 연구를 제공한다. 여기서는 시간에 따라 감쇠하는 학습률 $\eta(t) = \eta_0 t^{-\beta}$를 사용하는 랑주반 역학을 적용한다. 순수하게 비볼록인 경관에서는 $\beta < 1$가 안정점에서 벗어나도록 하여 최적화를 가속화하는 반면, 신호 복원 문제에서는 탐색 단계 동안 일정한 $\eta$를 사용하고 수렴 단계에서는 $\beta = 1$ 감쇠를 적용하는 이중 단계 전략이 최적의 성능을 낸다.

ABSTRACT

Learning rate schedules are ubiquitously used to speed up and improve optimisation. Many different policies have been introduced on an empirical basis, and theoretical analyses have been developed for convex settings. However, in many realistic problems the loss-landscape is high-dimensional and non convex -- a case for which results are scarce. In this paper we present a first analytical study of the role of learning rate scheduling in this setting, focusing on Langevin optimization with a learning rate decaying as $η(t)=t^{-β}$. We begin by considering models where the loss is a Gaussian random function on the $N$-dimensional sphere ($N ightarrow \infty$), featuring an extensive number of critical points. We find that to speed up optimization without getting stuck in saddles, one must choose a decay rate $β&lt;1$, contrary to convex setups where $β=1$ is generally optimal. We then add to the problem a signal to be recovered. In this setting, the dynamics decompose into two phases: an \emph{exploration} phase where the dynamics navigates through rough parts of the landscape, followed by a \emph{convergence} phase where the signal is detected and the dynamics enter a convex basin. In this case, it is optimal to keep a large learning rate during the exploration phase to escape the non-convex region as quickly as possible, then use the convex criterion $β=1$ to converge rapidly to the solution. Finally, we demonstrate that our conclusions hold in a common regression task involving neural networks.

연구 동기 및 목표

• 현대 머신러닝에서 흔한 고차원 비볼록 최적화에서 학습률 스케줄링에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 학습률 감쇠 스케줄링 $\eta(t) = \eta_0 t^{-\beta}$가 비볼록 경관에서 최적화 동역학에 미치는 영향을 분석하기 위해.
• 순수 비볼록 및 신호 복원 설정 모두에서 손실을 최소화하는 데 최적의 감쇠 지수 $\beta$를 규명하기 위해.
• SGD를 사용한 신경망 회귀 작업을 통해 실질적인 딥러닝 환경에서 분석 결과를 검증하기 위해.

제안 방법

• 구형 제약 조건과 시간에 의존하는 학습률 $\eta(t) = \eta_0 t^{-\beta}$를 갖는 랑주반 역학을 사용하여 최적화 문제를 수식화하고, 온도 $T$를 통해 SGD의 노이즈를 모델링한다.
• 두 가지 모델을 분석한다: 구형 셰링턴-키르크패트릭(SK) 모델($p=2$)과 스파이크드 매트릭스-텐서(SMT) 모델($p>2$)로, 모두 $N$차원 구면에서의 가우시안 랜덤 손실 함수를 갖는다. 이는 $N \to \infty$ 근처에서 분석된다.
• 통계역학 기법, 특히 카크-라이스 방법과 동적 복제 이론을 적용하여 상관 및 반응 함수를 계산하고 효과적인 동역학을 유도한다.
• 구형 제약 조건을 강제하는 라그랑주 승수 $z_\infty$의 점점 커지는 값을 유도하며, 이는 비볼록 단계에서의 임계 손실을 결정한다.
• 이중 단계의 동역학적 행동을 식별한다: 초기 탐색 단계는 거친 비볼록 영역에서 발생하고, 신호가 존재할 경우 후속 수렴 단계는 볼록 분지에서 발생한다.
• 작은 배치 크기 $B=1$를 사용한 테이처-스터디언 신경망 회귀 작업을 통해 결과를 검증하여, 최적의 스케줄링 전략이 실증적으로 확인된다.

실험 결과

연구 질문

• RQ1 순수하게 비볼록인 고차원 경관에서 최적의 학습률 감쇠 지수 $\beta$는 무엇인가? 이는 최적화를 가속화하는 데 기여하는가?
• RQ2 회복 가능한 신호가 존재할 경우 비볼록 최적화에서 최적의 스케줄링 전략은 어떻게 변화하는가?
• RQ3 실제 딥러닝 환경에서 신경망을 사용할 때 최적의 $\beta$에 대한 분석 예측을 검증할 수 있는가?
• RQ4 신호 복원 문제에서 탐색에서 수렴으로의 전이를 나타내는 동역학적 상전이 현상은 무엇인가?
• RQ5 노이즈(온도 $T$)와 학습률 감쇠 간의 상호작용은 수렴 속도와 최종 손실에 어떤 영향을 미치는가?

주요 결과

• 순수 비볼록 경관(예: $p=2$ SK 모델)에서는 최적의 감쇠율이 $\beta = 1/2$로, 볼록 설정에서 사용되는 $\beta = 1$보다 훨씬 느리다.
• 고차 비볼록성($p > 2$)이 존재할 경우 최적의 $\beta$는 1보다 작으며, 이는 안정점에서 효율적으로 벗어나기 위해 더 느린 감쇠가 필요함을 시사한다.
• 신호가 존재할 경우 최적의 전략은 이중 단계 스케줄링이다: 비볼록 영역에서 신속히 벗어나기 위해 탐색 단계 동안 일정한 학습률을 유지하고, 볼록 수렴 단계에서는 $\beta = 1$ 감쇠를 적용한다.
• 탐색에서 수렴으로의 전환 시간 $t_{\text{cross}}$는 일정한 학습률 하에서 손실이 정체되는 '특화 전이'의 끝과 일치한다.
• 배치 크기 $B=1$인 테이처-스터디언 신경망 회귀 작업에서, 학습률을 너무 일찍 감소시키면 높은 손실이 발생하지만, $t_{\text{cross}}$ 이후로 감소시키면 손실이 0으로 수렴한다.
• 저온에서 비볼록 단계의 분석적 임계 손실은 온도 $T$에 대해 선형적으로 증가하며, 이는 유도된 $z_\infty$ 및 $\ell_{\text{th}}$ 표현식의 안정성을 확인한다.