[논문 리뷰] Understanding the unstable convergence of gradient descent

Kwangjun Ahn, Jingzhao Zhang외 1명|arXiv (Cornell University)|2022. 04. 03.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 경사하강법에서 전통적인 $2/L$ 임계값을 초과하는 스텝 사이즈를 사용함에도 불구하고 훈련 손실이 비단조적으로 감소하는 불안정한 수렴 현상을 조사한다. 불안정한 수렴의 주요 원인으로 평탄한 정적점의 부재와 GD 동역학의 전방 불변성(Forward-invariance)을 규명하고, 손실, 반복값, 날카움 정도에서의 진동 행동을 통해 불안정한 수렴을 특성화하며, 고전적 안정성 가정을 초월한 딥러닝 최적화 이론적 프레임워크를 제시한다.

ABSTRACT

Most existing analyses of (stochastic) gradient descent rely on the condition that for $L$-smooth costs, the step size is less than $2/L$. However, many works have observed that in machine learning applications step sizes often do not fulfill this condition, yet (stochastic) gradient descent still converges, albeit in an unstable manner. We investigate this unstable convergence phenomenon from first principles, and discuss key causes behind it. We also identify its main characteristics, and how they interrelate based on both theory and experiments, offering a principled view toward understanding the phenomenon.

연구 동기 및 목표

• 고전적 $\eta < 2/L$ 안정성 조건을 위반함에도 불구하고 실무에서 경사하강법이 자주 불안정하게 수렴하는 이유를 이해하는 것.
• 특히 평탄한 정적점의 부재와 GD 동역학의 전방 불변성에 기인한 불안정한 수렴의 근본 원인을 규명하는 것.
• 손실, 반복값, 날카움 정도 행동을 기반으로 불안정한 수렴의 주요 특징을 기술하는 것.
• 상대적 진전, 방향성 매끄러움 정도, 불안정한 동역학 간 이론적이고 경험적인 연관성을 확립하는 것.
• 소규모 배치 학습 하에서 불안정한 행동이 유지됨을 보여주며 확률적 경사하강법(SGD)로의 통찰을 확장하는 것.

제안 방법

• 내림내림 행동을 단조 감소를 초월해 분석할 수 있도록, 각 경사 스텝당 기대 손실 변화를 정량화하는 상대적 진전 비율 $\text{RP}(\bm{\theta})$ 를 도입한다.
• 방향성 매끄러움 정도 $L(\bm{\theta}; \mathbf{v})$ 는 방향 $\mathbf{v}$ 에 따라 국소적으로 기울기의 변화를 측정하는 척도로, 비볼록 설정에서 비리프시츠 행동을 분석하는 데 핵심적이다.
• SGD에 대해 이론적 관계 $\mathbb{E}[\text{RP}(\bm{\theta})] \approx -1 + \frac{\eta}{2} \cdot \mathbb{E}\left[ \frac{\|g\|^2}{\|\nabla f\|^2} L(\bm{\theta}; \eta g) \right]$ 를 유도하며, 기대 진전과 방향성 매끄러움 정도 간의 연관성을 연결한다.
• CIFAR-10에서 ReLU 및 $\tanh$ 네트워크를 대상으로 유도된 관계를 경험적으로 검증하여, 큰 스텝 사이즈 하에서 손실과 날카움 정도의 진동 행동을 확인한다.
• 이론적 분석과 실험을 통해 불안정한 수렴은 손실이 0 근처에서 진동하고, 반복값이 $2/\eta$ 근처에서 진동하며, 날카움 정도가 $2/\eta$ 초과에서 진동함을 보여준다.
• 훈련 중 $\text{RP}(\bm{\theta})$, 방향성 매끄러움 정도, 날카움 정도 변화를 모니터링함으로써 불안정한 수렴을 탐지할 수 있는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 스텝 사이즈가 $2/L$ 를 초과할 때 경사하강법에서 불안정한 수렴이 발생하는 원인은 무엇인가?
• RQ2 안정적 수렴과 불안정적 수렴 영역 간 손실, 반복값, 날카움 정도의 동역학은 어떻게 다를까?
• RQ3 훈련 손실이 시간이 지남에 따라 감소함에도 불구하고, SGD에서 기대 손실 변화가 음수일 수 있는가?
• RQ4 방향성 매끄러움 정도는 불안정한 수렴을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 GD에서의 불안정한 수렴 특성은 소규모 배치 학습을 하는 SGD로 어떻게 확장되는가?

주요 결과

• 불안정한 수렴은 스텝 사이즈 $\eta > 2/L$ 일 때 발생하지만, 훈련 손실은 여전히 비단조적으로 감소하여 고전적 내림내림 이론과 모순된다.
• 불안정 영역에서는 상대적 진전 비율 $\text{RP}(\bm{\theta})$ 가 0 근처에서 진동하여, 전체 수렴에도 불구하고 기대 손실 변화가 반드시 음수가 아니라는 것을 시사한다.
• 불안정한 GD 하에서 반복값은 $2/\eta$ 근처에서 진동하며, 기울기 갱신의 동적 균형을 나타낸다.
• 날카움 정도(최대 헤시안 고유값)는 $2/\eta$ 초과에서 진동하여, 모델이 높은 곡률 영역을 이동함을 시사한다.
• 이론적 관계 $\mathbb{E}[\text{RP}(\bm{\theta})] \approx -1 + \frac{\eta}{2} \cdot \mathbb{E}\left[ \frac{\|g\|^2}{\|\nabla f\|^2} L(\bm{\theta}; \eta g) \right]$ 는 ReLU 및 $\tanh$ 네트워크 양쪽 모두에서 경험적으로 성립하여, 방향성 매끄러움 정도의 역할을 검증한다.
• 이 현상은 활성화 함수와 배치 설정에 관계없이 견고하여, 특정 아키텍처를 초월한 딥러닝 최적화의 근본적 특성임을 시사한다.