[논문 리뷰] Four Things Everyone Should Know to Improve Batch Normalization

Cecilia Summers, Michael J. Dinneen|arXiv (Cornell University)|2019. 06. 09.

Advanced Neural Network Applications참고 문헌 48인용 수 30

한 줄 요약

이 논문은 추가적인 학습 계산 없이 모든 배치 크기에서 모델 성능을 향상시키는 배치 정규화에 대한 네 가지 실용적인 개선 사항을 규명한다. 추론 시 예측 가중치를 도입하여 학습-추론 불일치를 수정하고, 중간 크기의 배치에서 고스트 배치 정규화의 정규화 효과를 검증하며, γ 및 β에 대한 가중치 감소가 일반화를 향상시킴을 보이며, 매우 작은 배치 크기에서 효과적인 하이브리드 배치-그룹 정규화 방법을 제안하여 CIFAR-100에서 정확도를 6% 이상 향상시킨다.

ABSTRACT

A key component of most neural network architectures is the use of normalization layers, such as Batch Normalization. Despite its common use and large utility in optimizing deep architectures, it has been challenging both to generically improve upon Batch Normalization and to understand the circumstances that lend themselves to other enhancements. In this paper, we identify four improvements to the generic form of Batch Normalization and the circumstances under which they work, yielding performance gains across all batch sizes while requiring no additional computation during training. These contributions include proposing a method for reasoning about the current example in inference normalization statistics, fixing a training vs. inference discrepancy; recognizing and validating the powerful regularization effect of Ghost Batch Normalization for small and medium batch sizes; examining the effect of weight decay regularization on the scaling and shifting parameters gamma and beta; and identifying a new normalization algorithm for very small batch sizes by combining the strengths of Batch and Group Normalization. We validate our results empirically on six datasets: CIFAR-100, SVHN, Caltech-256, Oxford Flowers-102, CUB-2011, and ImageNet.

연구 동기 및 목표

• 배치 정규화에서 학습과 추론 시 정규화의 간과된 불일치를 해결하기 위해.
• 큰 배치가 아닌 환경에서 잘 활용되지 않는 정규화 기법인 고스트 배치 정규화를 식별하고 검증하기 위해.
• 배치 정규화에서 학습 가능한 파라미터 γ 및 β에 가중치 감소를 적용했을 때의 영향을 조사하기 위해.
• 배치 정규화와 그룹 정규화의 장점을 융합하여 매우 작은 배치 크기에서도 효과적인 새로운 정규화 방법을 개발하기 위해.

제안 방법

• 추론 중 현재 예측의 통계와 이동 평균을 혼합하여 추론 시 예측 가중치를 도입함으로써 학습-추론 불일치를 감소시킴.
• 각 배치를 더 작은 그룹으로 나누어 정규화하는 고스트 배치 정규화를 적용함으로써, 중간 크기의 배치에서도 정규화 효과를 향상시킴.
• 배치 정규화의 스케일링(γ) 및 이동(β) 파라미터에 직접적으로 가중치 감소를 적용하여 일반화를 향상시킴.
• 배치 수준과 그룹 수준의 통계를 융합하는 하이브리드 정규화 방법을 제안하여, 작은 배치 크기에서 교차 예측 정보를 효과적으로 활용함.
• 추론 시에는 배치 통계의 지수 이동 평균을 사용하고, 동시에 현재 예측의 통계를 학습 가능한 가중치 α를 통해 통합함.
• 모든 방법을 표준 이미지 분류 벤치마크를 사용하여 여섯 가지 데이터셋에서 학습부터 시작하거나 전이 학습 설정을 통해 검증함.

실험 결과

연구 질문

• RQ1 학습과 추론 시 정규화의 불일치가 모델 성능에 미치는 영향은 무엇이며, 추가 계산 없이 이를 완화할 수 있는가?
• RQ2 고스트 배치 정규화는 원래의 사용 사례를 초월하여 중간 및 작은 배치 크기에서 일반화를 얼마나 향상시키는가?
• RQ3 배치 정규화에서 학습 가능한 파라미터 γ 및 β에 가중치 감소를 적용했을 때의 영향은 무엇이며, 이는 의미 있는 정규화 기법으로 작용하는가?
• RQ4 매우 작은 배치 크기 환경에서 배치 정규화와 그룹 정규화의 장점을 모두 활용할 수 있는 통합된 정규화 접근법을 설계할 수 있는가?

주요 결과

• 추론 시 예측 가중치 적용으로 비i.i.d. 미니배치에서 오차율이 최대 20% 감소하였으며, 재학습이 필요 없음.
• 고스트 배치 정규화는 작은 고스트 배치 크기임에도 불구하고 비i.i.i.d. 환경에서 배치 재정규화와 유사한 성능을 달성함.
• γ 및 β에 가중치 감소를 적용함으로써 일반화가 향상되었으며, 특히 작은 배치 환경에서 뚜렷한 효과를 보였고, 테스트한 모든 데이터셋에서 유사한 효과를 보임.
• 제안된 하이브리드 배치-그룹 정규화 방법은 B=2일 때 CIFAR-100에서 76.1%의 정확도를 달성하여 표준 배치 정규화를 뛰어넘고 비i.i.d. 데이터에 대한 강건성까지 확보함.
• 네 가지 개선 사항을 동시에 적용했을 때, 표준 배치 정규화 대비 CIFAR-100에서 정확도가 6% 이상 향상됨.
• ImageNet, Caltech-256, CUB-2011 등 다양한 데이터셋에서 일관된 성능 향상이 관찰되었으며, 학습부터 시작하거나 미세조정 시 모두 유사한 성과를 기록함.