[논문 리뷰] First Exit Time Analysis of Stochastic Gradient Descent Under Heavy-Tailed Gradient Noise

Thanh Huy Nguyen, Umut Şimşekli외 2명|arXiv (Cornell University)|2019. 06. 21.

Markov Chains and Monte Carlo Methods참고 문헌 42인용 수 11

한 줄 요약

이 논문은 중력 노이즈가 첨도 꼬리 특성을 띠는 경우에 대해 확률적 경사 하강법(SGD)의 이론적 분석을 수행한다. 이는 노이즈를 $\alpha$-안정 레비 과정으로 모델링하여, 이산 시간 SGD가 연속 시간 SDE 근사의 비정상적 안정성 성질을 상속할 수 있는 단계 크기 조건을 도출한다. 이로써 작은 단계 크기에서는 두 시스템 간의 이탈 시간 역학이 유사하며, 오차 범위는 알고리즘 및 문제 파rameter에 의존함을 보여준다.

ABSTRACT

Stochastic gradient descent (SGD) has been widely used in machine learning due to its computational efficiency and favorable generalization properties. Recently, it has been empirically demonstrated that the gradient noise in several deep learning settings admits a non-Gaussian, heavy-tailed behavior. This suggests that the gradient noise can be modeled by using $α$-stable distributions, a family of heavy-tailed distributions that appear in the generalized central limit theorem. In this context, SGD can be viewed as a discretization of a stochastic differential equation (SDE) driven by a Lévy motion, and the metastability results for this SDE can then be used for illuminating the behavior of SGD, especially in terms of `preferring wide minima'. While this approach brings a new perspective for analyzing SGD, it is limited in the sense that, due to the time discretization, SGD might admit a significantly different behavior than its continuous-time limit. Intuitively, the behaviors of these two systems are expected to be similar to each other only when the discretization step is sufficiently small; however, to the best of our knowledge, there is no theoretical understanding on how small the step-size should be chosen in order to guarantee that the discretized system inherits the properties of the continuous-time system. In this study, we provide formal theoretical analysis where we derive explicit conditions for the step-size such that the metastability behavior of the discrete-time system is similar to its continuous-time limit. We show that the behaviors of the two systems are indeed similar for small step-sizes and we identify how the error depends on the algorithm and problem parameters. We illustrate our results with simulations on a synthetic model and neural networks.

연구 동기 및 목표

• 딥 러닝에서 흔히 나타나는 첨도 꼬리 특성과 비정규성을 띠는 경사 노이즈를 가진 SGD의 거동를 이해하기 위해.
• 첨도 꼬리 특성을 띠는 노이즈 하에서 SGD의 연속 시간 SDE 근사와 이산 시간 복제 간 격차를 메우기 위해.
• 이산 SGD가 연속 SDE의 비정상적 안정성 성질을 상속할 수 있도록 단계 크기 조건을 체계적으로 유도하기 위해.
• 이산 및 연속 시스템 간의 이탈 시간 분포 오차를 정량화하기 위해.
• 합성 모델 및 신경망에서의 시뮬레이션을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 이론적 일반화를 위해 경사 노이즈를 대칭 $\alpha$-안정 분포($\mathcal{S}\alpha\mathcal{S}$)로 모델링하여, 기존의 가우시안 가정을 일반화한다.
• SGD의 연속 시간 근사를 $\alpha$-안정 레비 운동으로 구동되는 확률적 미분 방정식(SDE)으로 표현한다.
• 연속 및 이산 과정의 법칙을 비교하기 위해 기하학적 변환(Girsanov 유형)을 사용한다.
• 다양한 $\lambda$-노름 하에서 멱함수의 경계를 Minkowski 및 H"older 부등식을 통해 유도한다.
• 모멘트 제어 및 渐近 분석 기반으로 이산 및 연속 과정의 이탈 시간 간 오차 경계를 확립한다.
• 다양한 $\alpha$, $\varepsilon$, $\sigma$, 차원 $d$ 조건에서 이론적 예측을 검증하기 위해 수치적 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 첨도 꼬리 특성을 띠는 경사 노이즈 하에서 이산 시간 SGD가 연속 시간 SDE 근사의 비정상적 안정성 성질을 상속할 수 있는 조건은 무엇인가?
• RQ2 이산 SGD의 이탈 시간 분포가 연속 SDE와 유사해지도록 하기 위해 단계 크기 $\eta$는 얼마나 작아야 하는가?
• RQ3 이산 및 연속 시스템 간 오차는 $\eta$, $\alpha$, $\sigma$, 문제 차원 $d$ 에 대해 어떻게 정량화되는가?
• RQ4 $\lambda > 1$ 및 $\lambda \leq 1$ 인 $\ell^\lambda$-노름 하에서 이산 과정의 모멘트 경계는 어떻게 행동하는가?
• RQ5 합성 및 신경망 환경에서의 시뮬레이션은 이론적 단계 크기 조건을 어느 정도 확인하는가?

주요 결과

• 이론적으로 충분히 작은 단계 크기 $\eta$ 하에서, 이산 SGD는 $\alpha$-안정 노이즈 하에서 연속 SDE 근사의 비정상적 안정성을 상속함을 입증하였다.
• 이산 및 연속 시스템 간 이탈 시간 분포의 차이에 대해 명시적인 오차 경계를 유도하였으며, 이는 노름 및 노이즈 구조에 따라 $\eta^{1/\alpha}$ 및 $\eta^{1/2}$ 의 속도로 감소함을 보였다.
• 분석 결과 오차는 꼬리 지수 $\alpha$, 노이즈 규모 $\sigma$, 차원 $d$ 에 의존하며, 더 무거운 꼬리($\alpha < 2$)의 경우 연속 근사에 수렴하기 위해 더 작은 $\eta$ 가 필요함을 밝혔다.
• 이산 과정의 모멘트 경계는 Minkowski 및 H"older 부등식을 통해 제어되며, 비정규 모멘트를 다루기 위해 $\ell^\lambda$-노름이 사용되었다.
• 다양한 $\alpha \in \{1.2, 1.4, 1.6, 1.8\}$, $\varepsilon$, $\sigma$, $d$ 조건에서의 시뮬레이션 결과는 유도된 경계와 일관되며, 이론적 예측을 확인하였다.
• 작은 $\eta$ 조건 하에서 이산 시스템의 이탈 시간 행동이 연속 SDE와 매우 유사함을 검증하였으며, 특히 첨도 꼬리 특성을 띠는 노이즈 하에서 뚜렷한 일致성을 보였다.