[논문 리뷰] The Full Spectrum of Deepnet Hessians at Scale: Dynamics with SGD Training and Sample Size

Vardan Papyan|arXiv (Cornell University)|2018. 11. 16.

Model Reduction and Neural Networks참고 문헌 37인용 수 32

한 줄 요약

이 논문은 실제 데이터셋에 훈련된 대규모 딥 네ural 네트워크(수천만 개의 파라미터까지)의 전체 헤시안 스펙트럼을 분석하기 위한 확장 가능한 계산 프레임워크를 제안한다. 고급 수치 선형대수 기법을 활용해 헤시안을 구성요소(H, G 및 계층적 하위구성요소 A₁, B₁, B₂)로 분해함으로써, 훈련 동역학과 샘플 크기가 스펙트럼—특히 '스パイ크'된 고유값과 연속적인 배경 분포—에 체계적으로 영향을 미친다는 것을 밝혀내었으며, 딥 러닝에서 일반화와 최적화에 대한 새로운 통찰을 제공한다.

ABSTRACT

We apply state-of-the-art tools in modern high-dimensional numerical linear algebra to approximate efficiently the spectrum of the Hessian of modern deepnets, with tens of millions of parameters, trained on real data. Our results corroborate previous findings, based on small-scale networks, that the Hessian exhibits "spiked" behavior, with several outliers isolated from a continuous bulk. We decompose the Hessian into different components and study the dynamics with training and sample size of each term individually.

연구 동기 및 목표

• 현대 딥 네럴 네트워크의 전체 헤시안 스펙트럼을 소규모 근사치를 넘어서 대규모로 분석하기 위해.
• 헤시안을 해석 가능한 구성요소(H, G 및 계층적 하위구성요소)로 분해하여 각각의 동역학을 연구하기 위해.
• SGD 훈련 동역학과 샘플 크기가 헤시안의 스펙트럼적 성질에 미치는 영향을 조사하기 위해.
• 고차원 딥 러닝 모델에서 헤시안 스펙트럼 근사화를 위한 확장 가능하고 수치적으로 안정적인 프레임워크를 제공하기 위해.
• 특히 이질적 고유값과 연속적인 배경 분포를 포함한 스펙트럼 구조가 딥 네트워크의 일반화와 최적화 행동과 어떻게 관련되어 있는지 밝혀내기 위해.

제안 방법

• 헤시안 스펙트럼을 효율적으로 근사하기 위해 랭크츠 알고리즘과 부분공간 반복 기법을 포함한 최첨단 수치 선형대수 도구를 활용한다.
• 가우스-뉴턴 분해를 적용하여 헤시안을 두 주요 구성요소로 분리한다: H(이阶도 가중치 기여도)와 G(기울기 기반 곡률).
• G를 계층적 삼단계 구조로 추가 분해한다: A₁(클래스별 평균 기울기), A₂(클래스별 기울기), B₁(클래스 내 분산), B₂(클래스 간 분산).
• 반복적 해법기의 수렴을 향상시키고 스펙트럼 추정을 안정화하기 위해 정규화 절차(예: [-1,1] 범위로 스케일링)를 적용한다.
• 정확도와 수렴을 제어할 수 있는 LanczosApproxSpec 및 SubspaceIteration 알고리즘을 사용하여 스펙트럼과 탈중량 스펙트럼을 계산한다.
• 프레임워크를 VGG11과 ResNet18에 적용하여 MNIST, FashionMNIST, CIFAR10, CIFAR100에서 훈련하였으며, 데이터 증강 없이 고정된 초모수를 사용하여 결정론적 훈련을 확보하였다.

실험 결과

연구 질문

• RQ1 대규모 딥 네트워크에서 SGD 훈련 중 헤시안의 스펙트럼 구성요소(H, G 및 하위구성요소)는 어떻게 변화하는가?
• RQ2 계층적 구성요소(A₁, B₁, B₂ 등) 각각이 전체 헤시안 스펙트럼—특히 '스파이크'된 고유값과 연속적인 배경 분포—에 기여하는 정도는 어떠한가?
• RQ3 훈련 데이터 세트의 크기가 헤시안의 스펙트럼 구조와 그 구성요소에 미치는 영향은 무엇인가?
• RQ4 현대 수치 선형대수 기법을 사용해 수천만 개의 파라미터를 가진 대규모에서 헤시안의 스펙트럼 역학을 신뢰성 있게 근사할 수 있는가?
• RQ5 스펙트럼 특징(예: G 스펙트럼의 피크)이 손실 및 오차 궤적과 같은 훈련 동역학과 얼마나 관련이 있는가?

주요 결과

• 대규모 네트워크에서 헤시안 스펙트럼은 수많은 고립된 고유값(이질적 고유값)이 연속적인 배경과 구별되는 '스파이크'된 행동를 보이며, 이는 이전의 소규모 연구 결과와 일관된다.
• G 구성요소의 이질적 고유값은 주로 A₁(클래스별 평균 기울기)에 기인하며, G의 오른쪽 배경은 B₂(클래스 간 분산)와 관련이 있고, 왼쪽 배경은 B₁(클래스 내 분산)과 관련이 있다.
• G 스펙트럼의 피크는 손실이 급격히 감소하다가 서서히 둔화되는 훈련 전환점에서 발생하며, 최적화 동역학의 핵심 단계임을 시사한다.
• 샘플 크기는 스펙트럼 구조에 체계적인 영향을 미친다: 더 큰 훈련 세트는 더 안정적이고 덜 비대칭적인 스펙트럼을 유도하며, 이질적 고유값의 크기는 감소하고 배경 분포는 넓어진다.
• 계층적 분해를 통해 B₂(클래스 간 분산)가 G 스펙트럼의 배경에 가장 큰 기여를 한다는 것이 드러났고, A₁은 이질적 고유값을 지배적으로 차지함으로써 곡률과 일반화에 서로 다른 역할을 한다는 것이 밝혀졌다.
• 정규화를 적용한 랭크츠 및 부분공간 반복 기법을 사용한 스펙트럼 근사 프레임워크는 최대 수천만 개의 파라미터를 가진 모델에서도 안정적이고 정확한 스펙트럼 추정을 달성한다.