[논문 리뷰] Dynamic of Stochastic Gradient Descent with State-Dependent Noise

Qi Meng, Shiqi Gong외 3명|arXiv (Cornell University)|2020. 06. 24.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 8

한 줄 요약

이 논문은 상태에 따라 변화하는 분산을 가진 멱법 확률미분방정식을 제안하여 확률적 경사하강법(SGD)을 모델링한다. 이로 인해 얻어지는 정적분포는 꼬리가 두꺼운 형태를 띠며, 실증 관측 결과와 일치함을 보여준다. 또한 날카로운 최소값에서의 탈출 시간이 일정 분산 모델보다 다항식 시간 내에 이루어지며, 이는 일반화 성능이 뛰어난 평탄한 최소값을 선호하는 SGD의 성질을 설명한다.

ABSTRACT

Stochastic gradient descent (SGD) and its variants are mainstream methods to train deep neural networks. Since neural networks are non-convex, more and more works study the dynamic behavior of SGD and the impact to its generalization, especially the escaping efficiency from local minima. However, these works take the over-simplified assumption that the covariance of the noise in SGD is (or can be upper bounded by) constant, although it is actually state-dependent. In this work, we conduct a formal study on the dynamic behavior of SGD with state-dependent noise. Specifically, we show that the covariance of the noise of SGD in the local region of the local minima is a quadratic function of the state. Thus, we propose a novel power-law dynamic with state-dependent diffusion to approximate the dynamic of SGD. We prove that, power-law dynamic can escape from sharp minima exponentially faster than flat minima, while the previous dynamics can only escape sharp minima polynomially faster than flat minima. Our experiments well verified our theoretical results. Inspired by our theory, we propose to add additional state-dependent noise into (large-batch) SGD to further improve its generalization ability. Experiments verify that our method is effective.

연구 동기 및 목표

• 기존의 SGD 동역학 모델이 상태에 독립적인 경사 노이즈를 가정함으로써 실질적으로 관측되는 꼬리가 두꺼운 파rameter 분포를 설명하지 못하는 한계를 해결하고자 한다.
• 지역 최소값 근처에서의 SGD 노이즈의 진정한 상태에 따라 변화하는 성격을 반영할 수 있는 이론적으로 타당한 동역학 모델을 개발하고자 한다.
• 이 새로운 동역학이 지역 최소값에서 탈출하는 효율성을 분석하고, 일반화 성능와의 연관성을 규명하고자 한다.
• 일정 분산 동역학보다 개선된 일반화 성능을 보여주는 PAC-Bayes 일반화 경계를 도출하고자 한다.
• 딥 네ural 네트워크에서의 실험을 통해 이론적 결과를 검증하고, 파rameter 분포가 제안된 멱법 모델과 잘 맞는지를 보여주고자 한다.

제안 방법

• 지역 최소값 주변의 2차 곡선 밸리에서 기울기 노이즈의 공분산을 모델 파rameter의 2차 함수로 유도하여, 상태에 따라 변화하는 분산의 타당성을 입증한다.
• 상태의 제곱에 비례하는 분산 계수를 가지는 확률미분방정식(SDE)을 제안하며, 이를 멱법 동역학으로 명명한다.
• 멱법 동역학의 정적분포가 꼬리 지수 κ를 가지는 멱법 κ 분포임을 증명하며, 이는 실증적으로 관측된 꼬리가 두꺼운 분포와 일치함을 보여준다.
• 무작위 편향 이론을 적용하여 멱법 동역학 하에서 지역 최소값에서의 평균 탈출 시간을 계산한다.
• 멱법 동역학에 대한 PAC-Bayes 일반화 경계를 유도하며, 일정 분산 모델 대비 개선된 일반화 성능을 보여준다.
• 학습된 딥 네트워크(LeNet-5, ResNet-18, VGG-16 등)의 파rameter 분포를 멱법 κ 분포에 맞추어 모델 적합성을 검증하고, SGD와의 탈출 동역학을 비교한다.

실험 결과

연구 질문

• RQ1 SGD에서 상태에 따라 변화하는 노이즈는 파rameter의 정적분포에 어떤 영향을 미치는가?
• RQ2 무한 분산을 가정하지 않고도, 상태에 따라 변화하는 분산을 가진 멱법 동역학이 실증적으로 관측된 파rameter의 꼬리가 두꺼운 분포를 설명할 수 있는가?
• RQ3 멱법 동역학 하에서 지역 최소값에서의 탈출 시간은 일정 분산 동역학과 비교해 어떻게 다른가?
• RQ4 제안된 동역학에서 탈출 효율성과 일반화 성능 사이의 관계는 어떠한가?
• RQ5 멱법 동역학은 실제 SGD의 딥 네트워크 학습 행동을 어느 정도 재현하는가?

주요 결과

• 제안된 멱법 동역학의 정적분포는 꼬리 지수 κ를 가지는 꼬리가 두꺼운 멱법 κ 분포이며, 학습된 딥 네트워크의 파rameter 분포와 실증 관측 결과와 일치한다.
• 멱법 동역학 하에서 지역 최소값에서의 평균 탈출 시간은 장벽 높이의 다항식 순서에 해당하며, 일정 분산 동역학에서 관측되는 지수순서보다 훨씬 빠르다.
• 멱법 동역학은 날카로운 최소값에서 평탄한 최소값보다 더 효율적으로 탈출하며, 이는 SGD가 날카로운 최소값을 피하는 메커니즘을 설명한다.
• 멱법 동역학에 대한 PAC-Bayes 일반화 경계는 일정 분산 동역학보다 더 날카롭게, 즉 더 좁게 설정되어 있으며, 이는 더 뛰어난 일반화 성능을 의미한다.
• 실험 결과, MNIST, CIFAR-10, ImageNet에서 학습된 SGD 기반 모델의 파rameter 분포가 멱법 κ 분포에 잘 맞는다.
• 탈출 동역학 비교 결과, 멱법 동역학은 일정 분산 동역학보다 실제 SGD의 행동을 더 정확히 재현한다.