[논문 리뷰] Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction

Kaifeng Lyu, Zhiyuan Li외 1명|arXiv (Cornell University)|2022. 06. 14.

Neural Networks and Applications인용 수 12

한 줄 요약

이 논문은 정규화 레이어(예: 배치 정규화)가 손실의 척도 불변성으로 인해 가중치 감쇠와 함께 경사하강법에서 날카기 감소 편향을 유도함으로써 일반화를 향상시킨다고 제안한다. 이는 이론적으로도 실험적으로도 검증되며, 이 편향은 스케일 불변성 있는 구면 날카기 측정법으로 측정된 평탄한 최소값 방향으로 최적화 경로를 이끈다. 이는 과다 매개변수화된 모델에서도 테스트 성능 향상으로 이어진다.

ABSTRACT

Normalization layers (e.g., Batch Normalization, Layer Normalization) were introduced to help with optimization difficulties in very deep nets, but they clearly also help generalization, even in not-so-deep nets. Motivated by the long-held belief that flatter minima lead to better generalization, this paper gives mathematical analysis and supporting experiments suggesting that normalization (together with accompanying weight-decay) encourages GD to reduce the sharpness of loss surface. Here "sharpness" is carefully defined given that the loss is scale-invariant, a known consequence of normalization. Specifically, for a fairly broad class of neural nets with normalization, our theory explains how GD with a finite learning rate enters the so-called Edge of Stability (EoS) regime, and characterizes the trajectory of GD in this regime via a continuous sharpness-reduction flow.

연구 동기 및 목표

• 정규화 레이어가 깊이 신경망에서 일반화를 향상시키는 이유를 최적화 이점 외적으로 이해하기 위해.
• 정규화 네트워크에서 흔히 발생하는 척도 불변성 손실에 대해 전통적인 날카기 측정법이 잘 정의되지 않는 문제를 해결하기 위해.
• 가중치 감쇠와 함께 경사하강법의 암묵적 편향이 정규화된 모델에서 평탄한 최소값을 향해 어떻게 유도되는지 수식적으로 기술하고 분석하기 위해.
• 과다 매개변수화된 모델과 표준 비전/언어 모델 모두에서 날카기 감소와 일반화 향상 간의 연결 고리를 설정하기 위해.

제안 방법

• 정규화에서 발생하는 척도 불변성을 다루기 위해 단위 구면을 따라 손실의 헤시안을 이용해 정의된 척도 불변성 있는 날카기 측정법인 '구면 날카기'를 제안한다.
• 척도 불변성 손실 함수에 대해 전체 배치 경사하강법과 가중치 감쇠를 분석하여, 동역학이 시간이 지남에 따라 자연스럽게 날카기를 감소시킴을 보여준다.
• 에 bord of Stability 상태에서 경사하강법의 경로를 특징짓는 연속적인 날카기 감소 흐름을 유도한다.
• 매트릭스 완성 및 VGG-11, 배치 정규화를 사용한 CIFAR-10 실험을 통해 날카기 감소 편향을 실험적으로 검증한다.
• 정규화 레이어의 애핀 매개변수(γ, β)를 고정하여 학습 동역학과 레이블 스무딩 간의 연결을 확립하고, γ=1.353일 때 ε=0.1인 소프트 레이블과 동치임을 보여준다.
• 학습 곡선에서 이론적 최소 손실을 빼내 날카기 동역학을 분리하고 시간에 따른 날카기 감소 경향을 관찰한다.

실험 결과

연구 질문

• RQ1 가중치 감쇠와 함께 정규화를 적용한 경사하강법이 척도 불변성 손실 표면에서 평탄한 최소값을 향한 편향을 어떻게 유도하는가?
• RQ2 정규화된 네트워크에서 일반화를 분석할 수 있는 수학적으로 타당하고 척도 불변성 있는 날카기 측정법은 무엇인가?
• RQ3 왜 날카기 감소는 과다 매개변수화된 모델에서도 일반화 향상과 관련이 있는가?
• RQ4 정규화와 가중치 감쇠의 상호작용이 지속적인 날카기 감소를 어떻게 이끌어내며, Edge of Stability는 어떤 역할을 하는가?
• RQ5 날카기 감소 편향은 가중치 감쇠나 정규화 없이도 관찰될 수 있으며, 이는 테스트 성능에 어떤 영향을 미치는가?

주요 결과

• 정규화된 모델에서 가중치 감쇠와 함께 경사하강법을 사용할 경우, 학습 손실이 0에 도달하더라도 구면 날카기 측정법이 단조롭게 감소한다.
• VGG-11와 배치 정규화를 사용한 CIFAR-10 실험에서, 47,000 스텝 동안 테스트 정확도가 69.1%에서 84.3%로 상승하며 지속적인 날카기 감소와 일치한다.
• 배치 정규화 또는 가중치 감쇠를 제거하면 날카기 감소 편향과 관련된 일반화 성능 향상이 모두 사라진다.
• 정규화 레이어의 애핀 매개변수(γ, β)를 고정하여도 날카기 감소 편향이 관찰되며, 이는 ε=0.1인 레이블 스무딩과 동치이다.
• γ=1.353일 때 이론적 최소 손실은 약 0.0943이며, 이 값을 학습 곡선에서 빼내면 명확한 날카기 감소 경향이 드러난다.
• 에지 오브 스테이블리티 상태에서 날카기 감소 흐름은 연속적인 과정으로 특징지어지며, 최대 헤시안 고유값이 2/η 근처에서 안정화된다.