[논문 리뷰] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe, Christian Szegedy|arXiv (Cornell University)|2015. 02. 11.

Neural Networks and Applications참고 문헌 23인용 수 24,246

한 줄 요약

이 논문은 미니배치 내에서 계층 입력을 정규화하여 내부 공변량 이동을 감소시키고 더 높은 학습률, 정규화, 빠른 학습을 가능하게 하는 Batch Normalization을 도입하며 ImageNet에서 최첨단 성능을 달성한다.

ABSTRACT

Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.

연구 동기 및 목표

• 딥 네트워크의 학습 중 내부 공변량 이동 문제의 동기를 제시한다.
• 미니배치를 대상으로 작동하는 네트워크 아키텍처에 통합된 정규화 기법을 제시한다.
• BN이 더 높은 학습률을 가능하게 하고 Dropout의 필요성을 감소시키거나 제거하는 정규화 효과를 보여준다.
• BN을 사용한 대규모 비전 작업(ImageNet)에서의 학습 가속 및 정확도 향상을 증명한다.
• 배치 정규화 네트워크의 학습 및 추론에 대한 실용적 가이드라인을 제공한다.

제안 방법

• 비선형성 앞에 Batch Normalization 변환을 삽입하여 미니배치 통계를 사용해 각 활성 차원을 평균 0, 분산 1로 정규화한다.
• 네트워크의 표현 용량을 유지하기 위해 차원별 스케일(gamma)과 시프트(beta) 파라미터를 학습한다.
• BN 변환을 통해 역전파를 수행하여 gamma, beta 및 이전 계층 파라미터를 업데이트한다.
• 추론 시에는 미니배치 통계 대신 모집단 통계(또는 그 이동 평균)를 사용하여 결정론적 출력을 얻는다.
• 합성곱 신경망에 BN을 적용하여 배치 간 및 공간 위치(각 특징 맵당)에서 피처 맵을 정규화한다.
• 더 높은 학습률, 초기화에 대한 민감도 감소, Dropout의 필요성 감소를 보여준다.

실험 결과

연구 질문

• RQ1 배치 단위 정규화를 네트워크의 내부 공변량 이동을 줄이고 심층 네트워크의 학습 속도를 높일 수 있는가?
• RQ2 BN이 발산 없이 더 높은 학습률을 가능하게 하고 층 간의 그래디언트 흐름을 개선할 수 있는가?
• RQ3 BN이 정규화 효과 및 일반화에 Dropout과의 비교 혹은 조합에서 어떤 영향을 가져오는가?
• RQ4 ImageNet 같은 대규모 비전 작업에서 단일 네트워크 및 앙상블 결과를 포함하여 BN이 성능에 미치는 영향은 무엇인가?

주요 결과

• Batch Normalization은 훨씬 더 높은 학습률을 가능하게 하고 매개변수 초기화에 대한 민감도를 감소시킨다.
• BN을 갖는 네트워크는 더 빠르게 수렴하며 동일한 정확도 또는 더 나은 정확도를 더 적은 학습 단계로 달성할 수 있다(예: ImageNet 변형에서 특정 정확도에 도달하기 위해 필요한 단계 수가 약 14배 감소).
• BN은 ImageNet에서 최첨단 결과를 달성하며 앙상블의 경우 검증 상위 5% 에러가 4.9%에 도달하고 테스트 에러는 4.8%이다.
• BN-베이스라인은 인셉션의 정확도에 절반 이하의 학습 단계로 도달하며, BN 변형은 더 높은 최종 정확도에 도달한다(예: BN-x30으로 검증 상위 5%에서 74.8% 달성).
• Batch Normalization은 특정 설정에서 Dropout의 필요성을 줄이거나 제거할 수 있으며, 시그모이드와 같은 포화 비선형 함수를 사용할 때 학습을 안정화시킬 수 있다.
• BN은 레이어의 야코비안이 매개변수 스케일에 덜 민감하게 만들어 그래디언트 전달을 개선하고 모델을 정규화할 수 있다.