[논문 리뷰] How noise affects the Hessian spectrum in overparameterized neural networks

Mingwei Wei, David J. Schwab|arXiv (Cornell University)|2019. 10. 01.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 10

한 줄 요약

이 논문은 오버파rameterized 신경망에서 손실 곡면이 기울어진 곳(일부 방향에서 곡률이 납작한 곳)에 있을 때, 확률적 경사하강법(SGD)이 헤시안의 트레이스를 감소시킨다는 것을 보여준다. 변동-소산 관계를 사용하여, SGD에서 발생하는 노이즈가 헤시안 트레이스를 체계적으로 감소시키며, 비균일한 방향에서의 등방성 노이즈가 헤시안 행렬식을 감소시켜 일반화의 메커니즘을 제공하고 새로운 최적화 설계를 이끌어내는 데 기여한다.

ABSTRACT

Stochastic gradient descent (SGD) forms the core optimization method for deep neural networks. While some theoretical progress has been made, it still remains unclear why SGD leads the learning dynamics in overparameterized networks to solutions that generalize well. Here we show that for overparameterized networks with a degenerate valley in their loss landscape, SGD on average decreases the trace of the Hessian of the loss. We also generalize this result to other noise structures and show that isotropic noise in the non-degenerate subspace of the Hessian decreases its determinant. In addition to explaining SGDs role in sculpting the Hessian spectrum, this opens the door to new optimization approaches that may confer better generalization performance. We test our results with experiments on toy models and deep neural networks.

연구 동기 및 목표

• 오버파arameterized 네트워크에서 첫 번째 순서 정보만을 사용함에도 불구하고 SGD가 왜 잘 일반화되는지 설명하는 것.
• SGD에서 발생하는 노이즈가 헤시안 스펙트럼에 미치는 영향, 특히 기울어진 손실 곡면에서의 영향을 조사하는 것.
• 헤시안 트레이스와 행렬식의 진동을 제어할 수 있는 노이즈 공분산 구조를 유도하는 것.
• 테이프 모델과 딥 네트워크에서 이론적 예측을 실험적으로 검증하는 것.
• 통제된 헤시안 진동을 기반으로 한 새로운 최적화 알고리즘 설계의 길을 열어주는 것.

제안 방법

• 이론적 분석은 Yaida(2019)의 변동-소산 관계를 사용하여 매개변수 공간에서 SGD 노이즈가 헤시안에 미치는 영향을 모델링한다.
• 손실 함수가 기울어진 부분공간과 비기울어진 부분공간을 가진 이차형태로 근사화된 최소한의 곡면 구조를 정의한다.
• 다양한 노이즈 공분산 구조 하에서 헤시안 트레이스와 행렬식의 진동을 유도하며, SGD 노이즈가 트레이스를 감소시키고 등방성 노이즈가 행렬식을 감소시킴을 보여준다.
• 비기울어진 부분공간과 기울어진 부분공간을 분리하기 위해 좌표 변환을 적용하여 헤시안 고유값 역학을 분석할 수 있도록 한다.
• 학습률과 노이즈 구조를 다양하게 설정한 조건에서 헤시안 트레이스와 행렬식의 진동을 실험적으로 테스트하기 위해 제어된 손실 함수를 가진 테이프 모델을 사용한다.
• SGD 경로를 따라 투영된 경로를 사용하여 헤시안 트레이스의 진동을 추정하며, 수치적 추정(Bai 등, 1996)을 통해 검증한다.

실험 결과

연구 질문

• RQ1 오버파arameterized 네트워크에서 기울어진 손실 곡면을 가진 경우, SGD 노이즈는 헤시안 트레이스에 어떤 영향을 미치는가?
• RQ2 헤시안 행렬식의 진동을 제어하기 위해 노이즈 공분산 구조를 설계할 수 있는가?
• RQ3 손실 곡면에서 투영된 SGD 경로를 따라 헤시안 트레이스가 감소하는가?
• RQ4 헤시안 트레이스 진동은 학습률과 노이즈 분산에 어떤 의존성을 가지는가?
• RQ5 헤시안 트레이스 진동은 일반화 성능과 얼마나 관련이 깊은가?

주요 결과

• 기울어진 곡면에서 SGD 노이즈는 평균적으로 헤시안 트레이스를 감소시키며, 더 평평한 최소값을 선호하는 경향과 일치한다.
• 트레이스 진동 속도는 η²에 비례하며, 기울어지지 않은 방향에서의 기울기 단계 확장과 평형 통계의 기여가 있다.
• 비기울어진 부분공간에서의 등방성 노이즈는 헤시안 행렬식을 감소시켜 날카운 최소값에서 벗어나는 메커니즘을 제안한다.
• 테이프 모델에서의 실험은 훈련 손실과 음의 헤시안 고유값의 합 사이에 선형 관계가 있음을 확인한다.
• Preact-ResNet18과 VGG16에서의 투영 경로 분석은, 검증 손실이 증가하는 동안에도 헤시안 트레이스가 감소함을 보여준다.
• 관측된 헤시안 트레이스 진동은 이론적 예측과 일치하며, 노이즈가 일반화를 향한 헤시안 스펙트럼의 형태를 조정하는 데 기여한다는 것을 뒷받침한다.