[논문 리뷰] How Does Batch Normalization Help Optimization?

Shibani Santurkar, Dimitris Tsipras외 2명|arXiv (Cornell University)|2018. 05. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 229

한 줄 요약

논문은 BatchNorm의 효과가 주로 내부 공변량 이동 감소가 아니라 최적화 지형을 더 매끄럽게 만들고 그래디언트를 더 예측 가능하게 하는 데서 비롯된다고 주장하며, 유사한 매끄럽힘 효과가 다른 정규화 체계에서도 관찰된다.

ABSTRACT

Batch Normalization (BatchNorm) is a widely adopted technique that enables faster and more stable training of deep neural networks (DNNs). Despite its pervasiveness, the exact reasons for BatchNorm's effectiveness are still poorly understood. The popular belief is that this effectiveness stems from controlling the change of the layers' input distributions during training to reduce the so-called "internal covariate shift". In this work, we demonstrate that such distributional stability of layer inputs has little to do with the success of BatchNorm. Instead, we uncover a more fundamental impact of BatchNorm on the training process: it makes the optimization landscape significantly smoother. This smoothness induces a more predictive and stable behavior of the gradients, allowing for faster training.

연구 동기 및 목표

• BatchNorm가 내부 공변량 이동 서사를 넘어서 왜 학습 성능을 개선하는지에 대해 더 깊이 이해하려는 동기를 부여한다.
• ICS와 BatchNorm 성능 간의 관계를 실증적으로 조사한다.
• BatchNorm가 손실 지형과 그래디언트 예측 가능성에 미치는 매끄럽힘 효과를 특징화한다.
• BatchNorm가 Lipschitz성 및 그래디언트 매끄러움에 어떻게 영향을 미치는지에 대한 이론적 분석을 제시한다.

제안 방법

• 표준 벤치마크에서 CNN과 선형 네트워크를 사용하여 BatchNorm이 있는 경우와 없는 경우를 비교한다.
• ICS의 역할을 시험하기 위해 의도적으로 분포 불안정성을 주입한다.
• 레이어 간 그래디언트 변화(G와 G′)의 관점에서 내부 공변량 이동을 정의하고 측정한다.
• 그래디언트 방향을 따라 손실 지형과 그래디언트 예측 가능성을 분석한다.
• 단일 BN 계층을 이론적으로 분석하여 Lipschitz 및 매끄러움 경계치를 도출한다.
• 매끄러움 효과를 비교하기 위해 대안 정규화 체계(ℓp-정규화)를 탐구한다.

실험 결과

연구 질문

• RQ1 BatchNorm의 성능이 전통적으로 주장되는 대로 내부 공변량 이동 감소에 엄격히 연결되어 있는가?
• RQ2 BatchNorm가 주로 최적화 지형을 매끄럽게 하고 그래디언트 예측 가능성을 향상시키는가?
• RQ3 다른 정규화 체계가 유사한 매끄러움과 학습 이점을 제공하는가?
• RQ4 BatchNorm 사용 시 관찰된 실험적 개선을 설명할 수 있는 이론적 보장은 무엇인가?

주요 결과

• BatchNorm 네트워크는 내부 공변량 이동이 감소하지 않아도 더 안정적인 학습과 더 빠른 수렴을 보이는 경우가 많다.
• ICS, 정의된 그래디언트 변화에 의해 BatchNorm 네트워크에서 유사하거나 더 높을 수 있지만 여전히 더 나은 성능을 보인다.
• BatchNorm은 최적화 문제를 재매개변수화하여 손실과 그래디언트를 더 Lipschitz하게 만들고 그래디언트 방향을 더 예측 가능하게 만든다.
• 매끄럽힘 효과는 BatchNorm뿐만 아니라 다른 정규화 체계에서도 나타나 BN에 특유한 효과가 아님을 시사한다.
• 이론적 분석은 완만한 조건하에 BN이 손실 그래디언트의 Lipschitz 상수를 감소시키고 그래디언트 예측 가능성을 높일 수 있음을 보여준다.
• BN은 더 평탄한 해에 수렴하는 데 도움을 줄 수 있어 일반화에 기여할 가능성이 있다.