[논문 리뷰] The Full Spectrum of Deep Net Hessians At Scale: Dynamics with Sample Size.

Vardan Papyan|arXiv (Cornell University)|2018. 11. 16.

Model Reduction and Neural Networks인용 수 18

한 줄 요약

이 논문은 실제 데이터로 훈련된 수천만 개의 파라미터를 가진 대규모 딥 네트워크의 헤시안 스펙트럼을 효율적으로 근사하기 위해 고급 수치 선형대수 기법을 적용한다. 이는 스파iked 헤시안 행동을 확인하며, 즉 연속된 블록에서 분리된 이상치들이 존재하며, 훈련과 데이터 크기 변화에 따라 각 성분이 어떻게 변화하는지 분석하기 위해 헤시안을 구성요소로 분해한다.

ABSTRACT

We apply state-of-the-art tools in modern high-dimensional numerical linear algebra to approximate efficiently the spectrum of the Hessian of modern deepnets, with tens of millions of parameters, trained on real data. Our results corroborate previous findings, based on small-scale networks, that the Hessian exhibits spiked behavior, with several outliers isolated from a continuous bulk. We decompose the Hessian into different components and study the dynamics with training and sample size of each term individually.

연구 동기 및 목표

• 실제 세계 데이터로 훈련된 대규모 딥 네트워크의 헤시안 스펙트럼 성질를 이해한다.
• 수천만 개의 파라미터를 가진 모델로 이전의 소규모 모델 연구 결과인 헤시안 스파이크 행동을 확장한다.
• 훈련 과정과 다양한 샘플 크기에서 각각의 진동을 연구하기 위해 헤시안을 별개의 구성요소로 분해한다.
• 훈련 진행 상황과 데이터셋 크기가 헤시안 스펙트럼의 구조와 구성에 미치는 영향을 조사한다.

제안 방법

• 대규모 모델에서 전체 헤시안 계산이 계산적으로 불가능하므로, 고차원 수치 선형대수 분야의 최첨단 도구를 활용해 헤시안 스펙트럼을 효율적으로 근사한다.
• 랜덤화된 SVD와 추적 추정 기법을 적용하여 계산의 비가역성 문제를 해결한다.
• 개별 분석을 위해 데이터 의존성 및 가중치 정규화 항과 같은 구성요소로 헤시안을 분해한다.
• 훈련 에포크와 증가하는 샘플 크기에 따라 고유값 분포와 이상치 성분의 진화를 추적한다.
• empirical 스펙트럼 분포 분석을 통해 헤시안 스펙트럼의 블록과 스파이크 영역을 식별한다.
• 다양한 네트워크 아키텍처와 데이터 환경 간의 스펙트럼 역학을 비교하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 실제 데이터로 훈련된 대규모 딥 넷의 헤시안 스펙트럼은 소규모 모델과 비교해 스파이크 행동 측면에서 어떻게 다를까?
• RQ2 헤시안의 구성요소 중 (예: 데이터, 정규화) 스펙트럼의 이상치가 발생하는 데 가장 기여하는 것은 무엇인가?
• RQ3 대규모 모델에서 훈련이 진행됨에 따라 헤시안의 고유값 분포는 어떻게 변화하는가?
• RQ4 훈련 샘플 크기를 늘일 경우 헤시안 스펙트럼의 구조와 안정성은 어떻게 영향을 받는가?
• RQ5 구성요소별 분해를 통해 고차원 딥 러닝 모델의 헤시안 고유값 역학을 얼마나 명확히 밝힐 수 있는가?

주요 결과

• 실제 데이터로 훈련된 대규모 딥 네트워크의 헤시안은 명백한 스파이크 행동을 보이며, 연속된 블록에서 분리된 몇몇 고립된 고유값을 포함한다. 이는 소규모 모델의 연구 결과와 일치한다.
• 이상치 고유값은 주로 데이터 의존적인 헤시안 성분에 의해 주도되며, 특히 최소값 주변의 손실 곡률에 관련된 항들이다.
• 훈련이 진행됨에 따라 헤시안 스펙트럼의 블록은 상대적으로 안정성을 유지하지만, 이상치의 수와 크기는 비단조화적으로 변화한다.
• 훈련 샘플 크기를 늘일수록 헤시안 스펙트럼이 더 안정적이고 비대칭성이 감소하여 극단적 고유값의 영향력이 줄어든다.
• 구성요소별 분해를 통해 정규화 항은 블록에 더 균일하게 기여하는 반면, 데이터 항은 이상치 스펙트럼을 주로 지배한다.
• 관찰된 스펙트럼 역학은 다양한 아키텍처에서 일관되며, 대규모 딥 넷의 헤시안 구조에 일반화 가능한 패턴을 시사한다.