[논문 리뷰] PyHessian: Neural Networks Through the Lens of the Hessian

Zhewei Yao, Amir Gholami외 2명|arXiv (Cornell University)|2019. 12. 16.

Stochastic Gradient Optimization Techniques참고 문헌 54인용 수 33

한 줄 요약

PyHessian은 딥 네트워크에 대한 Hessian 기반 통계(최대 고유값, 트레이스, 그리고 스펙트럴 밀도)를 계산하는 확장 가능하고 오픈 소스 프레임워크로, 로스-랜드스케이프 토폴로지 및 배치 정규화(Batch Normalization)와 잔차 연결(residual connections)와 같은 아키텍처 효과를 분석할 수 있게 합니다. 이 도구를 사용하여 CIFAR-10/100에서 BN과 잔차가 학습가능성에 미치는 미묘하고 때로는 직관에 반하는 영향을 드러냅니다.

ABSTRACT

We present PYHESSIAN, a new scalable framework that enables fast computation of Hessian (i.e., second-order derivative) information for deep neural networks. PYHESSIAN enables fast computations of the top Hessian eigenvalues, the Hessian trace, and the full Hessian eigenvalue/spectral density, and it supports distributed-memory execution on cloud/supercomputer systems and is available as open source. This general framework can be used to analyze neural network models, including the topology of the loss landscape (i.e., curvature information) to gain insight into the behavior of different models/optimizers. To illustrate this, we analyze the effect of residual connections and Batch Normalization layers on the trainability of neural networks. One recent claim, based on simpler first-order analysis, is that residual connections and Batch Normalization make the loss landscape smoother, thus making it easier for Stochastic Gradient Descent to converge to a good solution. Our extensive analysis shows new finer-scale insights, demonstrating that, while conventional wisdom is sometimes validated, in other cases it is simply incorrect. In particular, we find that Batch Normalization does not necessarily make the loss landscape smoother, especially for shallower networks.

연구 동기 및 목표

• 대형 신경망에 대한 Hessian 정보를 전체 Hessian을 형성하지 않고 계산하는 확장 가능한 도구를 제공한다.
• Hessian 기반 분석을 사용하여 배치 정규화와 잔차 연결과 같은 아키텍처 구성 요소가 학습가능성과 로스-랜드스케프에 어떤 영향을 미치는지 연구한다.
• BN이 로스-랜드스케프를 얼마나 부드럽게 또는 날카롭게 만드는지에 대한 경험적 통찰을 모델 깊이에 따라 제시한다.
• 클라우드나 슈퍼컴퓨팅 시스템에서 분석을 가능하게 하는 분산 메모리 실행을 시연한다.

제안 방법

• 역전파 기반 행렬 벡터 곱을 통해 명시적 Hessian 형성을 피하고 Hessian-벡터 곱을 사용해 Hessian 정보를 계산한다.
• Hutchinson의 무작위 방법을 Hessian 행렬-벡터 곱으로 사용하여 Hessian 트레이스를 추정한다.
• Stochastic Lanczos Quadrature(SLQ)와 Lanczos 반복(iterations)을 통해 전체 Hessian의 경험적 스펙트럴 밀도를 계산한다.
• BN이 있는/없는 ResNet 변형에서 CIFAR-10/100에 대한 Hessian의 최고 고유값, 트레이스 및 ESD를 분석한다.
• Hessian 고유벡터를 따라 매개변수를 섞어 단계별 및 매개변수별 로스-랜드스케프 시각화를 제공한다.

실험 결과

연구 질문

• RQ1 배치 정규화와 잔차 연결이 학습 중 Hessian 스펙트럼(최대 고유값, 트레이스, ESD)에 어떤 영향을 미치는가?
• RQ2 BN 또는 잔차 연결을 제거하면 서로 다른 네트워크 깊이에서 로스 랜드스케프가 더 부드럽거나 더 날카로워지는가?
• RQ3 Hessian 기반 진단이 학습가능성 및 일반화에 대한 아키텍처 구성 요소의 미세한, 단계별 영향을 드러낼 수 있는가?
• RQ4 PyHessian이 클라우드나 HPC 시스템에서 분산 메모리를 사용하여 최첨단 딥넷에 확장 가능한가?

주요 결과

• BN 제거는 특히 더 깊은 모델에서 Hessian 스펙트럼이 빠르게 증가하게 만들 수 있으며, ResNet 모델의 후기 단계에서 BN이 더 중요하다.
• BN 제거가 보편적으로 로스-랜드스케프를 부드럽게 만드는 것은 아니며, 얕은 네트워크는 BN 제거 시 더 평탄한 Hessian 스펙트럼을 보일 수 있는 반면, 더 깊은 네트워크는 더 날카로운 스펙트럼을 보인다.
• 잔차 연결 제거는 일반적으로 최고 고유값, 트레이스 및 ESD 범위를 증가시켜 로스-랜드스케프가 거칠어짐을 나타낸다.
• 깊은 네트워크에서 BN 부재는 높은 학습손실과 일반화 저하로 이어지는 날카로운 지역최적점으로 수렴할 수 있지만 얕은 모델에서는 그리 두드러지지 않는다.
• 단계별 분석은 후반부 단계에서 BN 제거가 Hessian 지표와 일반화에 더 강하게 영향을 미치며 Hessian 변화가 정확도 하락과 연결됨을 보여준다.
• PyHessian은 전체 Hessian을 형성하지 않고도 효율적이고 분산된 Hessian 분석을 가능하게 하여 BN과 잔차에 관한 아키텍처 디자인 질문에 대한 통찰을 제공한다.