[논문 리뷰] Emergent properties of the local geometry of neural loss landscapes

Stanislav Fort, Surya Ganguli|arXiv (Cornell University)|2019. 10. 14.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 18

한 줄 요약

이 논문은 분류 작업에서 신경망 손실 곡면의 네 가지 역설적인 기하적 성질을 통합하는 단순한 랜덤 모델을 제안한다: (1) $C$개의 이상치 Hessian 고유값 (클래스당 하나), (2) 높은 곡률의 저차원 부분공간으로의 기울기 정렬, (3) 학습 중 비단조적 Hessian 스펙트럼 노름, (4) 높은 곡률의 '골드릴로크 존'을 포함하는 저차원 초평면에서의 학습 성공. 이 모델은 이러한 현상들을 세 가지 핵심적인 일반적 특성—약한 로짓 곡률, 군집화된 로짓 기울기, 학습과 가중치 스케일 증가에 따른 증가하는 로짓 분산—에 기인한다고 설명하며, 이는 소프트맥스 확률의 동결을 초래한다.

ABSTRACT

The local geometry of high dimensional neural network loss landscapes can both challenge our cherished theoretical intuitions as well as dramatically impact the practical success of neural network training. Indeed recent works have observed 4 striking local properties of neural loss landscapes on classification tasks: (1) the landscape exhibits exactly $C$ directions of high positive curvature, where $C$ is the number of classes; (2) gradient directions are largely confined to this extremely low dimensional subspace of positive Hessian curvature, leaving the vast majority of directions in weight space unexplored; (3) gradient descent transiently explores intermediate regions of higher positive curvature before eventually finding flatter minima; (4) training can be successful even when confined to low dimensional {\it random} affine hyperplanes, as long as these hyperplanes intersect a Goldilocks zone of higher than average curvature. We develop a simple theoretical model of gradients and Hessians, justified by numerical experiments on architectures and datasets used in practice, that {\it simultaneously} accounts for all $4$ of these surprising and seemingly unrelated properties. Our unified model provides conceptual insights into the emergence of these properties and makes connections with diverse topics in neural networks, random matrix theory, and spin glasses, including the neural tangent kernel, BBP phase transitions, and Derrida's random energy model.

연구 동기 및 목표

• 분류 작업에서 네 가지 서로 관련이 없는 것으로 보이는 신경망 손실 곡면의 기하적 성질 뒤에 있는 개념적 수수께끼를 해결하기 위해.
• 다양한 네트워크와 데이터셋에서 이러한 성질을 설명할 수 있는 최소한의 일반적이고 아키텍처 및 데이터에 무관한 조건의 집합을 규명하기 위해.
• 기울기의 저차원 부분공간에 고착되는 것과 학습 중 일시적인 높은 곡률과 같은 다수의 관측 결과를 하나의 이론적 프레임워크로 통합하기 위해.
• 이러한 성질들이 복잡한 아키텍처나 데이터 특성에 기인하는 것이 아니라, 학습 중 로짓 동역학의 일반적인 통계적 특성에서 유래됨을 보여주기 위해.

제안 방법

• 학습 시간에 따라 증가하는 분산을 가진 i.i.d. 정규 분포 변수로 로짓을 모델링함으로써 Hessian과 기울기의 랜덤 행렬 모델을 개발한다.
• 동일한 클래스의 기울기가 다른 클래스의 기울기들과 거의 수직이 되도록 하는 로짓 기울기 군집화를 통합하며, 이는 ReLU 및 tanh 네트워크에서의 실증적 관측 결과에 의해 정당화된다.
• 학습 시간과 가중치 스케일 증가를 모두 반영하는 단조 증가하는 로짓 분산 $\sigma_z^2$를 통해 학습 진행 과정을 모델링한다.
• 학습 중 $\sigma_z^2$ 증가에 따라 소프트맥스 확률의 동결 메커니즘을 도입함으로써 Hessian의 추적 대 노름 비율 감소와 골드릴로크 존의 출현을 유도한다.
• 낮은 차원의 초평면에서의 학습 성공이 고곡률 영역과의 교차 여부와 관련이 있음을 검증하기 위해 랜덤 프로젝션을 사용한다.
• Hessian 고유값 통계와 $\mathrm{Trace}(H)/\|H\|$ 비율의 해석적 표현을 $\sigma_z^2$의 함수로 유도하며, 이는 실증 관측 결과와 일치한다.

실험 결과

연구 질문

• RQ1 왜 신경망 손실 곡면이 정확히 $C$개의 이상치 Hessian 고유값을 보이며, 이는 클래스 수와 일치하는가?
• RQ2 고차원 매개변수 공간에 비해 기울기 경사법이 어떻게 저차원 부분공간에 고착되어 있는가?
• RQ3 왜 최대 Hessian 고유값이 학습 중에 증가하다가 정점에 도달하고 나서 감소하는가? 이는 단조로운 평탄화의 기대와 반대된다.
• RQ4 왜 저차원 초평면에서의 학습 성공이 높은 평균 곡률보다 높은 곡률 영역과의 교차가 이루어질 때만 가능한 '골드릴로크 존'이 존재하는가?
• RQ5 어느 일반적이고 아키텍처에 무관한 훈련 동역학의 성질이 이 네 가지 기하학적 현상의 기원이 되는가?

주요 결과

• 로짓을 단순히 증가하는 분산을 가진 i.i.d. 정규 분포로 모델링함으로써 정확히 $C$개의 이상치 Hessian 고유값이 나타나는 것을 재현하며, 이는 배경 스펙트럼과 $C$개의 고곡률 방향을 생성한다.
• 각 클래스 내에서 로짓 기울기가 군집화되어 있으며, 서로 다른 클래스 간에는 거의 수직이므로, 높은 곡률의 $C$차원 부분공간으로의 기울기 정렬이 설명된다.
• 최대 Hessian 고유값의 비단조적 행동은 시간이 지남에 따라 $\sigma_z^2$ 증가에 의해 포괄되며, 확률의 포화와 동결 이전에 곡률이 증가하다가 포화에 이르게 된다.
• 골드릴로크 존—높은 $\mathrm{Trace}(H)/\|H\|$ 특성—은 $\sigma_z^2$ 증가에 따라 나타나며, 소프트맥스 확률의 동결으로 인해 비율이 감소하게 되어 CNN에서의 실증 관측 결과와 일치한다.
• Hessian의 랜덤 프로젝션을 통해 골드릴로크 존과 교차하는 저차원 랜덤 애핀 초평면에서의 학습 성공이 모델에 의해 성공적으로 재현되었으며, 이는 검증되었다.
• 실증적 검증을 통해 로짓 분산, 기울기 길이, 가중치 노름이 모두 학습 시간과 가중치 스케일 증가에 따라 증가하는 것으로 확인되었으며, 이는 모델의 핵심 가정을 정당화한다.