[논문 리뷰] Towards Understanding Regularization in Batch Normalization

Ping Luo, Xinjiang Wang외 2명|arXiv (Cornell University)|2018. 09. 04.

Neural Networks and Applications인용 수 53

한 줄 요약

본 논문은 배치 정규화(BN)를 암시적 규제(implicit regularizer)로 분석하여 BN이 population normalization과 gamma decay로 분해되며, BN이 더 큰 학습률을 가능하게 하고 일반화 성능을 향상시킨다는 이론적·경험적 근거를 CNN에서 제시한다.

ABSTRACT

Batch Normalization (BN) improves both convergence and generalization in training neural networks. This work understands these phenomena theoretically. We analyze BN by using a basic block of neural networks, consisting of a kernel layer, a BN layer, and a nonlinear activation function. This basic network helps us understand the impacts of BN in three aspects. First, by viewing BN as an implicit regularizer, BN can be decomposed into population normalization (PN) and gamma decay as an explicit regularization. Second, learning dynamics of BN and the regularization show that training converged with large maximum and effective learning rate. Third, generalization of BN is explored by using statistical mechanics. Experiments demonstrate that BN in convolutional neural networks share the same traits of regularization as the above analyses.

연구 동기 및 목표

• BN이 학습 및 일반화를 어떻게 정규화하는지에 대한 이론적 이해를 제고한다.
• BN을 population normalization (PN)과 gamma decay로 분해하여 명시적 정규화를 특징짓는다.
• 일반 미분방정식(ODE)을 사용하여 BN하의 학습 역학 및 수렴을 분석한다.
• 교사-학생 및 통계역학 프레임워크를 통해 BN과 weight normalization, vanilla SGD를 비교한다.
• CIFAR-10에서의 CNN 실험 및 소거 실험으로 이론적 시사점을 검증한다.

제안 방법

• BN의 효과를 고립시키기 위해 ReLU를 갖는 단층 퍼셉트론에서 BN을 모델링한다.
• 배치 통계치를 가우시안 사전분포를 갖는 확률 변수로 다루어 규제 형태를 도출한다.
• BN을 PN과 gamma decay로 분해하여 스케일 매개변수 ³에 대한 데이터 의존적 정규화 강도 ³(h)을 얻는다.
• 학습 역학을 연구하고 최대 학습률과 유효 학습률을 도출하기 위해 일반 미분방정식(ODE)을 사용한다.
• BN, weight normalization, SGD 하에서의 일반화 측면을 분석하기 위해 교사-학생 통계역학 프레임워크를 사용한다.
• CIFAR-10의 CNN에서 BN의 정규화 속성을 경험적으로 검증하고 PN+gamma decay를 근사로서 탐구한다.

Figure 2: (a) & (b) compare the loss (both training and evaluation) and validation accuracy between BN and PN on CIFAR10 using a ResNet18 network; (c) & (d) compare the training and validation loss curve with WN + mean-only BN and WN + variance-only BN; (e) & (f) validate the regularization effect o

실험 결과

연구 질문

• RQ1 BN을 PN과 gamma decay의 관점에서 명시적 정규화로 어떻게 표현할 수 있는가?
• RQ2 BN가 학습 역학과 허용 가능한 학습률에 미치는 영향은 WN 및 SGD와 비교하여 어떠한가?
• RQ3 교사-학생 설정과 CNN에서 BN가 일반화에 어떠한 영향을 미치는가?
• RQ4 BN의 정규화 강도 및 학습 역학에서 배치 크기의 역할은 무엇인가?
• RQ5 PN+gamma decay가 실제로 BN를 근사할 수 있는가, 그리고 경험적으로 어떻게 비교되는가?

주요 결과

• BN은 population normalization과 gamma decay로 분해될 수 있으며, 스케일 매개변수 gamma에 데이터 의존적 정규화 강도가 존재한다.
• gamma decay 항은 인자 zeta(h)를 통해 적응적이며 배치 커토시스와 Fisher 정보에 의존하여 BN의 노이즈를 학습 역학과 연결한다.
• BN은 더 큰 최대 학습률과 유효 학습률을 가능하게 하여 분석된 모델에서 SGD 또는 weight normalization보다 더 빠른 수렴을 이끈다.
• 대규모 (P, N) 구간에서 BN과 WN+gamma decay가 비슷한 일반화 이점을 낼 수 있으며, BN이 종종 vanilla SGD를 능가한다.
• CNN 실험에서 BN은 이론적 BN 모델과 정규화 특성을 공유하며, 적절한 조건에서 PN+gamma decay가 BN 효과를 모방할 수 있다.

(a) Comparisons of train and validation loss.