[논문 리뷰] Batch Normalization Biases Deep Residual Networks Towards Shallow Paths

Soham De, Samuel Smith|arXiv (Cornell University)|2020. 01. 01.

Machine Learning and Data Classification인용 수 18

한 줄 요약

이 논문은 배치 정규화(BN)가 초기화 시 깊이의 역수 제곱근 약 1/√(depth)로 잔차 브랜치를 스케일링하여 초기 네트워크 함수를 항등 함수에 가깝게 유지함으로써 더 깊은 잔차 네트워크를 가능하게 한다고 밝힌다. 이러한 통찰은 BN이 없는 깊은 잔차 네트워크를 훈련시킬 수 있는 새로운 초기화 기법으로 이어지며, BN의 주요 이점이 최적화 속도 향상보다는 초기화에 기인한 안정성 때문임을 입증한다.

ABSTRACT

Batch normalization dramatically increases the largest trainable depth of residual networks, and this benefit has been crucial to the empirical success of deep residual networks on a wide range of benchmarks. We show that this key benefit arises because, at initialization, batch normalization downscales the residual branch relative to the skip connection, by a normalizing factor on the order of the square root of the network depth. This ensures that, early in training, the function computed by normalized residual blocks in deep networks is close to the identity function (on average). We use this insight to develop a simple initialization scheme that can train deep residual networks without normalization. We also provide a detailed empirical study of residual networks, which clarifies that, although batch normalized networks can be trained with larger learning rates, this effect is only beneficial in specific compute regimes, and has minimal benefits when the batch size is small.

연구 동기 및 목표

• 배치 정규화가 더 깊은 잔차 네트워크를 가능하게 하는 이유를 이해하는 것.
• BN이 초기화 효과를 통해 훈련 안정성을 어떻게 확보하는지 조사하는 것.
• BN의 이점을 재현하는 BN-프리 초기화 기법을 개발하는 것.
• 학습률과 배치 크기가 잔차 네트워크의 훈련 역학에 미치는 영향을 명확히 하는 것.

제안 방법

• BN이 초기화 시 영향을 미치는 것과 유사하게 잔차 브랜치를 1/√(depth)로 스케일링하는 새로운 초기화 기법을 제안한다.
• BN이 적용된 상황에서 초기화 시 잔차 블록의 기대 출력을 분석하여 항등 함수에 근접함을 보여준다.
• 제안된 초기화 기법을 사용한 BN 및 비-BN 네트워크의 훈련 역학을 실증적으로 비교한다.
• 학습률과 배치 크기를 다양하게 조절하여 BN과 훈련 안정성 간의 상호작용을 연구한다.
• 통계 분석을 통해 초기화 시 잔차 블록 출력이 항등 함수에서 벗어나는 정도를 정량화한다.
• CIFAR-10 및 ImageNet과 같은 표준 벤치마크를 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 왜 배치 정규화가 더 깊은 잔차 네트워크를 가능하게 하는가?
• RQ2 배치 정규화는 잔차 블록이 초기화 시 계산하는 함수에 어떻게 영향을 미치는가?
• RQ3 적절한 초기화를 통해 배치 정규화 없이도 유사한 훈련 안정성을 달성할 수 있는가?
• RQ4 BN이 큰 학습률의 이점을 제공하는 것은 다양한 배치 크기에서 지속되는가?
• RQ5 초기화가 깊은 잔차 네트워크 성공에 어떤 역할을 하는가?

주요 결과

• 배치 정규화는 초기화 시 잔차 브랜치를 약 1/√(depth)로 스케일링하여 네트워크의 초기 함수를 항등 함수에 가깝게 유지함으로써 훈련을 안정화시킨다.
• 제안된 초기화 기법을 통해 배치 정규화 없이도 깊은 잔차 네트워크를 훈련시킬 수 있으며, 이로 인해 유사한 성능을 달성한다.
• 작은 배치 크기에서는 BN이 큰 학습률의 이점을 제공하는 데 거의 기여하지 않아 최적화 이점이 제한적임을 시사한다.
• BN의 주요 기여 요소는 더 빠른 수렴이나 더 나은 최적화가 아니라 초기화에 기인한 안정성이다.
• 실증 결과는 BN 없이도 새로운 초기화 기법을 사용한 네트워크가 CIFAR-10 및 ImageNet에서 BN 성능을 근사함을 보여준다.
• 본 연구는 BN의 성공이 주로 초기화 효과 때문이며, 훈련 중 적응적인 배치 통계에 기인한 것은 아님을 명확히 한다.