[논문 리뷰] Understanding Regularization in Batch Normalization

Ping Luo, Xinjiang Wang외 2명|arXiv (Cornell University)|2018. 09. 04.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 배치 정규화(BN)가 신경망에서 암시적 정규화 요소로 작용하는 이론적 이해를 제공하며, 그 영향을 모집단 정규화(PN)와 감마 감쇠로 분해한다. BN은 더 큰 학습률을 사용할 수 있게 하며 수렴 속도를 높이고, 통계역학을 통해 일반화 성능을 향상시킴을 입증한다. 이는 합성곱 신경망에서 검증되었다.

ABSTRACT

Batch Normalization (BN) improves both convergence and generalization in training neural networks. This work understands these phenomena theoretically. We analyze BN by using a basic block of neural networks, consisting of a kernel layer, a BN layer, and a nonlinear activation function. This basic network helps us understand the impacts of BN in three aspects. First, by viewing BN as an implicit regularizer, BN can be decomposed into population normalization (PN) and gamma decay as an explicit regularization. Second, learning dynamics of BN and the regularization show that training converged with large maximum and effective learning rate. Third, generalization of BN is explored by using statistical mechanics. Experiments demonstrate that BN in convolutional neural networks share the same traits of regularization as the above analyses.

연구 동기 및 목표

• 배치 정규화(BN)가 훈련 수렴성과 모델 일반화를 향상시키는 이유를 이론적으로 이해하는 것.
• BN을 그 구성 요소인 모집단 정규화(PN)와 감마 감쇠로 분해하여 각 요소의 기여도를 명확히 하는 것.
• BN의 학습 역학을 분석하고, 큰 학습률이 수렴에 이르게 되는 조건을 규명하는 것.
• 통계역학을 통해 일반화를 탐색하고, BN이 손실 곡면에서 정규화 효과를 유도하는 방식을 연결하는 것.
• 이론적 발견을 합성곱 신경망에서 검증하여 공통의 정규화 특성을 확인하는 것.

제안 방법

• BN의 영향을 분리하기 위해 선형층, BN층, 비선형 활성화 함수로 구성된 기본 신경망 블록을 분석한다.
• BN을 모집단 통계를 사용해 정규화하는 모집단 정규화(PN)와 명시적 정규화 항으로서의 감마 감쇠로 분해한다.
• 학습 역학을 분석하기 위해 기울기 흐름 분석을 사용하여 다양한 학습률 하에서의 수렴성을 연구한다.
• 통계역학 도구를 적용하여 일반화를 연구하고, BN이 손실 곡면에서 암시적 정규화 효과를 유도하는 방식을 연결한다.
• 이론적 예측의 정규화 행동을 검증하기 위해 합성곱 신경망에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 배치 정규화는 딥 신경망에서 어떻게 정규화 요소로 작용하는가?
• RQ2 모집단 정규화(PN)와 감마 감쇠가 BN의 전체 정규화 효과에 기여하는 바는 무엇인가?
• RQ3 왜 BN은 여전히 수렴함에도 불구하고 더 큰 최대 및 효과적 학습률을 허용하는가?
• RQ4 BN은 일반화를 어떻게 향상시키며, 이는 통계역학으로 설명될 수 있는가?
• RQ5 기본 네트워크 블록에서 도출된 이론적 통찰은 실제 합성곱 신경망에서도 유지되는가?

주요 결과

• 배치 정규화는 암시적 정규화 요소로 작용하며, 그 영향은 모집단 정규화(PN)와 명시적 정규화 성분인 감마 감쇠로 분해된다.
• BN의 학습 역학은 배치 통계의 안정화 효과 덕분에 큰 최대 및 효과적 학습률에서도 수렴을 가능하게 한다.
• BN의 일반화 성능은 통계역학과 분석적으로 연결되며, BN이 손실 곡면의 복잡성을 감소시킴을 보여준다.
• 실험 결과, 합성곱 신경망에서 BN이 이론적 분석에서 예측한 바와 동일한 정규화 특성을 보임을 확인하였다.
• BN의 구성 요소인 감마 감쇠는 명시적 웨이트 디케이와 유사한 정규화 효과를 기여하며, 일반화 성능 향상에 기여한다.