[논문 리뷰] Singularity of the Hessian in Deep Learning.

Levent Sagun, Léon Bottou외 1명|arXiv (Cornell University)|2016. 11. 22.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 30

한 줄 요약

이 논문은 딥러닝 손실 함수의 헤시안 고유값 스펙트럼을 분석하여, 두 가지 성질을 규명한다: 근처에 조밀한 덩어리가 존재하는 이중성 분포로, 이는 모델의 과다 매개변수화를 나타내며, 흩어진 가장자리 고유값은 데이터 복잡성을 반영한다. 경험적 분석을 통해 덩어리의 크기는 모델 용량과 관련이 있으며, 가장자리 고유값은 입력 데이터의 구조를 담고 있음을 확인하였다.

ABSTRACT

We look at the eigenvalues of the Hessian of a loss function before and after training. The eigenvalue distribution is seen to be composed of two parts, the bulk which is concentrated around zero, and the edges which are scattered away from zero. We present empirical evidence for the bulk indicating how over-parametrized the system is, and for the edges indicating the complexity of the input data.

연구 동기 및 목표

• 훈련된 딥 네ural 네트워크의 헤시안 행렬의 스펙트럼 특성을 이해하기 위해.
• 헤시안의 고유값 분포가 모델의 과다 매개변수화와 데이터 복잡성과 어떻게 관련되어 있는지 조사하기 위해.
• 헤시안 스펙트럼의 구조를 딥러닝 모델의 아키텍처적 특성과 데이터 관련 특성과 경험적으로 연결하기 위해.

제안 방법

• 훈련된 딥 네ural 네트워크의 손실 함수에 대한 헤시안 행렬을 계산하기 위해.
• 헤시안에 대한 스펙트럼 분석을 수행하여 고유값 분포를 추출하기 위해.
• 고유값 스펙트럼을 두 성분으로 분해하기: 근처에 조밀한 덩어리와 고립된 가장자리 고유값.
• 덩어리의 크기와 분포를 이용해 모델의 과다 매개변수화 정도를 추정하기 위해.
• 가장자리 고유값의 크기와 분포를 이용해 데이터 복잡성 정보를 추론하기 위해.
• 학습 전과 후의 헤시안을 분석하여 스펙트럼의 변화를 관찰하기 위해.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크의 학습 과정에서 헤시안 고유값 스펙트럼은 어떻게 변화하는가?
• RQ2 헤시안 고유값 분포의 덩어리는 모델의 과다 매개변수화에 대해 무엇을 드러내는가?
• RQ3 가장자리 고유값은 입력 데이터의 본질적 복잡성과 어떻게 관련되어 있는가?
• RQ4 헤시안 스펙트럼은 모델 용량과 데이터 구조를 진단하는 데 활용될 수 있는가?
• RQ5 헤시안 스펙트럼과 일반화 성능 사이의 관계는 무엇인가?

주요 결과

• 헤시안 고유값 스펙트럼은 일관되게 0 근처에 조밀한 덩어리가 존재하며, 이는 딥 모델의 고도의 과다 매개변수화를 나타낸다.
• 덩어리의 크기는 모델의 과다 매개변수화 정도와 상관관계가 있으며, 더 큰 덩어리는 더 높은 용량을 의미한다.
• 0에서 떨어져 흩어진 가장자리 고유값들은 무작위가 아니며, 그 뒤에 숨은 데이터 복잡성을 반영한다.
• 가장자리 고유값의 분포는 다양한 아키텍처와 데이터셋 간에 안정적이며, 이는 데이터와의 구조적 연관성을 시사한다.
• 수렴 후에도 헤시안의 스펙트럼 구조는 거의 변화하지 않으며, 이는 안정된 최적화 지형을 의미한다.
• 영이 아닌 가장자리 고유값의 존재는, 과다 매개변수화 영역에서도 손실 표면이 모든 방향으로 평탄하지 않음을 시사한다.