[논문 리뷰] Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond

Levent Sagun, Léon Bottou외 1명|arXiv (Cornell University)|2016. 11. 22.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 120

한 줄 요약

논문은 심층 네트워크의 Hessian 스펙트럼을 훈련 직전 및 이후에 분석하여, 0 근처에서 매우 특이한(단일화된) 벌크가 존재하고 데이터에 의존적인 큰 이산 고유값 세트를 밝혀내며, 최적화 및 지형의 토폴로지에 대한 함의를 제시한다.

ABSTRACT

We look at the eigenvalues of the Hessian of a loss function before and after training. The eigenvalue distribution is seen to be composed of two parts, the bulk which is concentrated around zero, and the edges which are scattered away from zero. We present empirical evidence for the bulk indicating how over-parametrized the system is, and for the edges that depend on the input data.

연구 동기 및 목표

• 깊은 신경망에서 손실 Hessian의 고유값 분포를 훈련 전과 후에 조사한다.
• 스펙트럼이 0/근영 0의 벌크와 뚜렷한 데이터 의존 에지로 어떻게 분리되는지 특성화한다.
• 네트워크 규모와 데이터 복잡도가 Hessian 스펙트럼과 학습 역학에 어떤 영향을 미치는지 이해한다.
• 딥러닝의 최적화 이론 및 알고리즘 설계에 대한 실용적 시사점을 논의한다.

제안 방법

• MNIST 및 간단한 2D 데이터로 학습된 완전 연결 네트워크에 대해 정확한 Hessian( Hessian-vector 곱을 통해)을 계산한다.
• 다양한 네트워크 규모 및 데이터 구성에 걸쳐 Hessian 고유값의 히스토그램을 그린다.
• 데이터와 아키텍처 효과를 구분하기 위해 무작위 데이터, MNIST 데이터 및 단순 가우시안 블랍의 Hessian 스펙트럼을 비교한다.
• 훈련 과정에서 고유값 스펙트럼의 진화를 추적하여 훈련이 고유값을 0에 모아가는지를 관찰한다.
• 다른 손실 함수(예: 크로스 엔트로피 대 평균 제곱 오차)가 스펙트럼에 미치는 영향을 검토한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 수렴 시 Hessian 고유값 분포의 구조는 어떠한가?
• RQ2 스펙트럼의 벌크와 에지는 아키텍처 대 데이터에 어떻게 의존하는가?
• RQ3 훈련이 0 근처에 고유값의 집중에 어떤 영향을 미치는가?
• RQ4 데이터의 복잡성 변화나 손실 함수가 이 이산적인 데이터 의존 고유값에 영향을 주는가?

주요 결과

• Hessian 스펙트럼은 0을 중심으로 한 벌크와 크게 이산적인 고유값들의 집합으로 구성된다.
• 이산적이고 데이터 의존적인 고유값은 입력 데이터에 의존하는 반면 벌크는 아키텍처에 의존한다.
• 네트워크 규모가 커질수록 고유값이 0 근처로 더 집중되는 경향이 커지며, 데이터 의존적 에지는 어느 정도 보존된다.
• 훈련 역학은 다수의 고유값을 0으로 향하게 하지만 음수 고유값은 남아 있어 비볼록적이고 비특이적인 지형을 시사한다.
• 두 단계의 비특이성(데이터 주도 에지와 모델 주도 벌크)은 평탄한 영역을 만들고 새로운 최적화 관점으로 이끈다.