[논문 리뷰] Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise

Umut Şimşekli, Lingjiong Zhu외 2명|arXiv (Cornell University)|2020. 02. 13.

Markov Chains and Monte Carlo Methods참고 문헌 57인용 수 13

한 줄 요약

이 논문은 확률적 경사 하강법에 운동량을 도입한 SGDm에서 발생하는 무거운 尾 꼬리(heavy-tailed) 그라디언트 노이즈로 인해 발생하는 편향을 수정하는 새로운 연속시간 최적화 프레임워크인 분수 차수의 과소감쇠 라ング주인 역학(Fractional Underdamped Langevin Dynamics, FULD)을 제안한다. 노이즈를 α-안정 레비 비행(α-stable Lévy flights)으로 모델링하고 분수 차수의 확률미분방정식(SDE)을 유도함으로써, FULD는 정적 분포가 진짜 손실 최적화점과 정확히 일치하도록 보장하여 일반화 성능을 향상시킨다. 이는 CIFAR-10에서 최대 4.5%의 정확도 향상과 MNIST에서 2%의 성능 향상을 경험적으로 입증하였다. α=1.75일 때 성능 향상이 두드러졌다.

ABSTRACT

Stochastic gradient descent with momentum (SGDm) is one of the most popular optimization algorithms in deep learning. While there is a rich theory of SGDm for convex problems, the theory is considerably less developed in the context of deep learning where the problem is non-convex and the gradient noise might exhibit a heavy-tailed behavior, as empirically observed in recent studies. In this study, we consider a \emph{continuous-time} variant of SGDm, known as the underdamped Langevin dynamics (ULD), and investigate its asymptotic properties under heavy-tailed perturbations. Supported by recent studies from statistical physics, we argue both theoretically and empirically that the heavy-tails of such perturbations can result in a bias even when the step-size is small, in the sense that \emph{the optima of stationary distribution} of the dynamics might not match \emph{the optima of the cost function to be optimized}. As a remedy, we develop a novel framework, which we coin as \emph{fractional} ULD (FULD), and prove that FULD targets the so-called Gibbs distribution, whose optima exactly match the optima of the original cost. We observe that the Euler discretization of FULD has noteworthy algorithmic similarities with \emph{natural gradient} methods and \emph{gradient clipping}, bringing a new perspective on understanding their role in deep learning. We support our theory with experiments conducted on a synthetic model and neural networks.

연구 동기 및 목표

• 무거운 꼬리(heavy-tailed) 그라디언트 노이즈로 인해 발생하는 SGDm의 편향 문제를 해결함으로써, 정적 분포가 진짜 손실 최적화점에서 벗어나지 않도록 보장한다.
• 원래 비용 함수의 최적화점과 정확히 일치하는 고정 분포(Gibbs distribution)를 정확히 목표로 하는 연속시간 최적화 프레임워크를 개발한다.
• 비정규 노이즈, 특히 α-안정 분포 하에서 운동량 기반 최적화 이론적 이해의 격차를 메운다.
• FULD의 올리버 이산화(Euler discretization)를 통해 기존 실용적 기법들인 그라디언트 클리핑과 자연 그라디언트 방법의 성공에 이론적 근거를 제공한다.

제안 방법

• 딥러닝에서 관찰되는 중성자 노이즈의 특성을 반영하기 위해, α ∈ (1,2)인 α-안정 레비 과정(SαS)으로 확률적 그라디언트 노이즈를 모델링한다.
• 일반화된 포크너-플랭크 방정식을 통해 분수 차수의 과소감쇠 라ング주인 역학(FULD)을 유도함으로써, 불변 측도(invariant measure)가 exp(−β(f(x) + ||v||²/2))인 견고한 Gibbs 분포를 보장한다.
• 약한 조건 하에서 FULD의 올리버-마르야마 이산화가 연속시간 과정으로 수렴함을 증명한다.
• 효율적인 구현을 위해 사전 계산된 일차원 SαS 밀도와 선형 보간을 사용하여 분수 차수 그라디언트 ∇Gα를 근사한다.
• FULD의 올리버 이산화를 기존 딥러닝 최적화 기법들과 연관지어, 자연 그라디언트 및 그라디언트 클리핑과 유사한 알고리즘적 특성을 보임을 밝힌다.
• 다양한 네트워크 너비와 α 값에서 MNIST 및 CIFAR-10을 사용한 심층 신경망과 시뮬레이션 모델을 대상으로 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 작은 스텝 사이즈일지라도, SGDm에서 무거운 꼬리 그라디언트 노이즈가 정적 분포에 편향을 유도하는가?
• RQ2 원래 손실 함수의 고정 분포(Gibbs measure)와 정확히 일치하는 분수 차수의 SDE를 구성할 수 있는가?
• RQ3 제안된 FULD의 올리버 이산화 방식은 그라디언트 클리핑 및 자연 그라디언트 방법과 같은 실용적 최적화 기법과 어떻게 관련이 있는가?
• RQ4 무거운 꼬리 노이즈 하에서 신경망 학습 시 일반화 성능을 최적화하는 데 가장 적합한 α-안정 지수의 값은 무엇인가?

주요 결과

• 무거운 꼬리 노이즈 하에서 표준 과소감쇠 라ング주인 역학(ULD)은 Gibbs 분포를 정확히 목표로 하지 못하며, 이로 인해 정적 분포에 체계적인 편향이 발생한다.
• FULD는 정확히 Gibbs 분포를 목표로 하여, 정적 분포의 최적화점이 원래 손실 함수의 최적화점과 정확히 일치하도록 보장한다.
• MNIST에서 FULD의 α=1.75 설정은 표준 SGDm 대비 2% 높은 테스트 정확도를 기록했으며, 네트워크 너비 256일 때 최고 성능을 보였다.
• CIFAR-10에서 FULD의 α=1.75 설정은 기준 SGDm 대비 4.5% 높은 테스트 정확도를 기록하여, 중성자 노이즈 하에서 강력한 일반화 성능 향상을 입증했다.
• FULD의 성능은 네트워크 너비에 민감하게 영향을 받는다: 넓이 512일 때 α=2(Gaussian)가 가장 우수한 성능을 보였으며, 이는 넓은 네트워크에서 노이즈가 점차 정규 분포로 수렴함을 시사한다.
• FULD의 올리버 이산화 방식은 그라디언트 클리핑 및 자연 그라디언트 방법과 유사한 구조적 특성을 보이며, 이들의 실용적 성공에 새로운 이론적 해석을 제공한다.