[논문 리뷰] An Investigation into Neural Net Optimization via Hessian Eigenvalue Density

Behrooz Ghorbani, Shankar Krishnan외 1명|arXiv (Cornell University)|2019. 01. 29.

Sparse and Compressive Sensing Techniques인용 수 103

한 줄 요약

이 논문은 학습 중 대형 신경망의 전체 Hessian 스펙트럼을 추정하는 확장 가능한 도구를 개발하고, 이상값 eigenvalue가 최적화를 느리게 하는 반면 배치 정규화가 이 이상값을 억제한다는 것을 보여준다.

ABSTRACT

To understand the dynamics of optimization in deep neural networks, we develop a tool to study the evolution of the entire Hessian spectrum throughout the optimization process. Using this, we study a number of hypotheses concerning smoothness, curvature, and sharpness in the deep learning literature. We then thoroughly analyze a crucial structural feature of the spectra: in non-batch normalized networks, we observe the rapid appearance of large isolated eigenvalues in the spectrum, along with a surprising concentration of the gradient in the corresponding eigenspaces. In batch normalized networks, these two effects are almost absent. We characterize these effects, and explain how they affect optimization speed through both theory and experiments. As part of this work, we adapt advanced tools from numerical linear algebra that allow scalable and accurate estimation of the entire Hessian spectrum of ImageNet-scale neural networks; this technique may be of independent interest in other applications.

연구 동기 및 목표

• 대형 신경망의 전체 Hessian 스펙트럼을 추정하는 확장 가능한 도구를 개발한다.
• 학습 전반에 걸친 Hessian 스펙트럼을 경험적으로 분석하여 곡률과 최적화 가설을 평가한다.
• 이상값 Hessian 고유값의 역할과 배치 정규화가 최적화 속도에 미치는 영향을 조사한다.

제안 방법

• Hessian-벡터 곱을 계산하기 위한 Pearlmutter의 트릭을 사용한다.
• Gaussian quadrature를 이용한 확률적 Lanczos 사분법으로 Hessian 스펙트럼 밀도 추정.
• 다중 샘플 평균화를 수행하여 매끄러운 스펙랄 밀도 φ_sigma(t)를 추정한다.
• 더블 정밀도 기준으로 작은 모델과의 정확성을 검증한다.
• ResNet/VGG의 CIFAR-10 및 ImageNet에서 최적화 경로를 따라 Hessian 스펙트럼을 추적한다.

실험 결과

연구 질문

• RQ1 학습 중인 대형 신경망의 전체 Hessian 스펙트럼은 어떻게 되는가?
• RQ2 이상값 고유값이 최적화 속도에 어떤 영향을 미치는가?
• RQ3 배치 정규화가 Hessian 스펙트럼과 학습 역학에 어떤 영향을 주는가?
• RQ4 BN이 고유 방향 간의 그래디언트 에너지 분포를 바꿀 수 있는가?
• RQ5 스펙트럼 특성이 학습률 스케줄이나 아키텍처 선택(예: 잔차 연결)과 상관관계가 있는가?

주요 결과

• Hessian 스펙트럼은 훈련의 아주 시작부터 큰 음의 고유값들이 빠르게 감소하고 대부분의 고유값이 0에 가깝게 안정화된다.
• 이상값 Hessian 고유값은 배치 정규화가 없는 네트워크에서 최적화를 느려지게 하는 경향과 상관관계가 있다.
• 배치 정규화는 이상값 고유값을 억제하고, 이상값 서공대에서 벡터의 그래디언트 에너지를 집중시키지 않게 하며 최적화를 가속화한다.
• 학습률을 낮추면 큰 고유값이 수축하고 이상값의 크기가 줄어드는 경향이 있어, 일부 평탄한/급경사 해석과는 다를 수 있다.
• 잔차 연결은 고유값을 더 zero에 가깝게 수축시키며 BN의 스펙트럼 효과와 맞물려 더 매끄러운 스펙트럼을 형성한다.
• BN의 전체 배치 통계는 이상값을 재도입하고 훈련 속도를 느리게 할 수 있어, BN의 역할을 스펙트럼 관점에서 지지한다.