[논문 리뷰] Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability

Zhouzi Li, Zixuan Wang외 1명|arXiv (Cornell University)|2022. 07. 26.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 딥 네ural 네트워크에서 경사하강법의 역학을 분석하여 날카움의 진화에 기반한 네 단계의 궤적을 규명한다—점진적인 날카움 증가 이후 에 bord of Stability (EOS) 영역에서의 진동. 출력층 가중치 노름이 날카움의 핵심 지표로 작용하며, 비단조화적인 손실과 날카움 행동에 대한 이론적이고 경험적인 설명을 제공한다. 단순화된 가정 하에 두 층의 선형 네트워크에서 엄밀한 증명을 수행한다.

ABSTRACT

Recent findings (e.g., arXiv:2103.00065) demonstrate that modern neural networks trained by full-batch gradient descent typically enter a regime called Edge of Stability (EOS). In this regime, the sharpness, i.e., the maximum Hessian eigenvalue, first increases to the value 2/(step size) (the progressive sharpening phase) and then oscillates around this value (the EOS phase). This paper aims to analyze the GD dynamics and the sharpness along the optimization trajectory. Our analysis naturally divides the GD trajectory into four phases depending on the change of the sharpness. We empirically identify the norm of output layer weight as an interesting indicator of sharpness dynamics. Based on this empirical observation, we attempt to theoretically and empirically explain the dynamics of various key quantities that lead to the change of sharpness in each phase of EOS. Moreover, based on certain assumptions, we provide a theoretical proof of the sharpness behavior in EOS regime in two-layer fully-connected linear neural networks. We also discuss some other empirical findings and the limitation of our theoretical results.

연구 동기 및 목표

• 딥 네트워크에서 경사하강법 동안 날카움과 손실의 비단조화적 행동을 이해하기 위해, 특히 Edge of Stability (EOS) 영역의 출현을 분석한다.
• 특히 출력층 가중치의 노름이 날카움 역학과 상관관계가 있는 실용적인 지표로 식별한다.
• 단순화된 두 층의 선형 신경망 환경에서 점진적인 날카움 증가와 EOS 행동에 대한 이론적 설명을 제공한다.
• 고전적 최적화 이론에 위배되는 비단조화적인 학습 손실 감소 현상을 설명한다.
• 학습률 위반에도 불구하고 날카움이 2/η에서 안정화되는 메커니즘을 명확히 한다.

제안 방법

• 날카움과 손실 역학에 기반해 GD 궤적을 네 단계로 분할한다: 초도 감소, 점진적 날카움 증가, EOS 영역, 최종 안정화.
• 경험적으로 출력층 가중치의 노름이 날카움 진화의 강력한 대체 지표로 기능함을 규명하여 날카움 역학 분석을 간접적으로 가능하게 한다.
• 출력층 가중치 노름과 날카움 행동 간의 연관성을 가정함으로써 날카움, 손실, 가중치 노름의 이론적 역학을 유도한다.
• 헤시안의 가우스-뉴턴 근사에 기반해 피셔 정보 행렬(FIM)과 신경 탄성 커널(NTK)을 사용하여 M(t)의 최대 고유값을 통해 날카움을 근사한다.
• 잔차 벡터 D(t)를 모델링하기 위해 경사 유도 역학을 적용하고, 갱신 규칙 D(t+1) - D(t) ≈ -ηM(t)D(t)를 유도하여 날카움 진화를 분석한다.
• 약한 가정 하에 두 층의 완전 연결 선형 네트워크에서 날카움 행동에 대한 엄밀한 이론적 증명을 제공하며, 날카움이 2/η로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 현대 딥 네트워크의 경사하강법 궤적에서 날카움과 손실의 명백한 역학적 단계는 무엇인가?
• RQ2 고전적 수렴 조건을 위반함에도 불구하고 날카움이 2/η로 증가하고 그 값 주변에서 안정화되는 이유는 무엇인가?
• RQ3 출력층 가중치의 노름이 학습 중 날카움 역학의 신뢰할 수 있는 대체 지표로 기능할 수 있는 이유는 무엇인가?
• RQ4 EOS 영역에서 관찰되는 비단조화적 손실 감소는 무엇에 의해 유도되는가?
• RQ5 단순화된 네트워크 아키텍처에서 EOS 영역의 날카움 행동는 어떤 조건 하에서 이론적으로 정당화될 수 있는가?

주요 결과

• GD 궤적은 날카움과 손실 역학에 기반해 자연스럽게 네 단계로 나뉜다: 초도 손실 감소, 점진적 날카움 증가, 날카움이 진동하는 Edge of Stability (EOS) 영역, 최종 안정화.
• 출력층 가중치의 노름은 경험적으로 날카움 진화의 강력하고 신뢰할 수 있는 지표로 확인되었으며, 이는 날카움 역학의 간접 분석을 가능하게 한다.
• EOS 영역에서 날카움은 2/η 주변에서 진동하며, 이는 일반적으로 발산을 유도할 수 있는 이론적 임계값이지만, 학습 손실은 여전히 비단조화적으로 감소한다.
• 두 층의 완전 연결 선형 네트워크에서 이론적 분석을 통해 날카움이 미약한 가정 하에 2/η로 수렴함을 보여주며, EOS 현상에 대한 공식적 정당성을 제공한다.
• 비단조화적 손실 감소는 날카움의 진동 행동과 가중치 노름 증가, 잔차 벡터 역학 간의 상호작용에 의해 설명된다.
• 신경 탄성 커널(NTK) 행렬 M(t)의 최대 고유값은 헤시안의 최대 고유값(즉, 날카움)을 잘 근사하므로, 분석에서의 대체 지표로 사용될 수 있음을 검증한다.