[논문 리뷰] The Regularization Effects of Anisotropic Noise in Stochastic Gradient Descent

Zhanxing Zhu, Jingfeng Wu외 3명|arXiv (Cornell University)|2018. 03. 01.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 31

한 줄 요약

이 논문은 깊이 신경망에서 확률적 경사하강법(SGD)의 이방성 노이즈가 손실 곡면의 곡률과 일치함으로써 일반화 성능을 향상시키는 방식을 조사한다. 실증 분석을 통해 SGD의 이방성 확산이 날카로운 최소값에서 효과적으로 벗어나 평탄하고 더 안정적인 최소값으로 수렴함을 입증하며, 등방성 노이즈와 전체 경사하강법에 노이즈를 추가한 경우보다 우수한 성능을 보인다.

ABSTRACT

Understanding the generalization of deep learning has raised lots of concerns recently, where the learning algorithms play an important role in generalization performance, such as stochastic gradient descent (SGD). Along this line, we particularly study the anisotropic noise introduced by SGD, and investigate its importance for the generalization in deep neural networks. Through a thorough empirical analysis, it is shown that the anisotropic diffusion of SGD tends to follow the curvature information of the loss landscape, and thus is beneficial for escaping from sharp and poor minima effectively, towards more stable and flat minima. We verify our understanding through comparing this anisotropic diffusion with full gradient descent plus isotropic diffusion (i.e. Langevin dynamics) and other types of position-dependent noise.

연구 동기 및 목표

• 딥 신경망에서 SGD의 이방성 노이즈가 일반화 성능을 향상시키는 데 기여하는 방식을 이해하는 것.
• SGD의 노이즈 구조가 손실 곡면의 곡률과 어떻게 관련되어 있는지 조사하는 것.
• SGD의 이방성 확산을 등방성 노이즈(예: 랑제비안 역학) 및 기타 위치에 따라 달라지는 노이즈 유형과 비교하는 것.
• 이방성 노이즈가 평탄하고 더 일반화 가능한 최소값으로의 수렴을 더 잘 이끌어내는지 평가하는 것.

제안 방법

• 학습 중 기울기 갱신을 추적하여 SGD의 노이즈 분포를 실증적으로 분석하는 것.
• 손실 곡면의 헤시안과 일치하는 공분산 구조를 가진 이방성 확산으로 노이즈를 모델링하는 것.
• 이방성의 영향을 분리하기 위해 등방성 노이즈를 추가한 전체 경사하강법과 SGD를 비교하는 것.
• 위치에 따라 달라지는 노이즈 모델을 사용하여 SGD의 실제 노이즈 행동과 대조하는 것.
• 날카로운 최소값에서의 탈출 및 평탄한 최소값으로의 이동을 평가하기 위해 수렴 궤적을 분석하는 것.
• 노이즈의 방향성과 손실 곡면의 곡률 정보 사이의 관계를 분석하는 것.

실험 결과

연구 질문

• RQ1 SGD의 이방성 노이즈는 깊이 신경망에서 손실 곡면의 곡률과 어떻게 관련되어 있는가?
• RQ2 SGD의 이방성 노이즈는 등방성 노이즈보다 날카로운 최소값에서 더 효과적으로 벗어나는가?
• RQ3 SGD의 노이즈 구조는 등방성 노이즈를 추가한 전체 경사하강법과 비교해 일반화 성능 측면에서 어떻게 다를까?
• RQ4 이방성 확산은 얼마나 평탄하고 더 안정적인 최소값으로 최적화를 이끌어내는가?
• RQ5 SGD의 일반화 이점은 순수한 확률성 외에 이방성 노이즈 때문인가?

주요 결과

• SGD의 노이즈 분포는 이방적이며, 특히 높은 곡률 방향을 따라 손실 곡면의 곡률과 일치한다.
• 이러한 이방성 확산은 등방성 노이즈와 달리 방향성 가이드가 없어 날카로운 최소값에서의 탈출이 더 효과적이다.
• SGD의 노이즈는 평탄한 최소값으로의 수렴을 촉진하며, 이는 더 나은 일반화와 관련이 있다.
• 등방성 노이즈를 추가한 전체 경사하강법은 SGD의 일반화 성능을 재현하지 못하며, 이는 이방성이 핵심 요소임을 시사한다.
• 실증 결과는 노이즈의 구조—특히 이방성—이 순수한 확률성 외에도 일반화에 결정적인 역할을 한다는 것을 확인한다.