[논문 리뷰] Batch Normalization Explained

Randall Balestriero, Richard G. Baraniuk|arXiv (Cornell University)|2022. 09. 29.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 배치 정규화(BN)를 깊이 신경망에서의 비지도 함수 근사 기법으로 재구성함으로써 BN의 새로운 이론적 설명을 제공한다. 이는 네트워크의 조각별 애프린 가중치 스플라인 분할의 기하학적 구조를 데이터 분포에 맞추는 방식이다. 무작위 가중치가 있더라도 BN은 선형 영역을 데이터에 맞추는 '스마트 초기화' 역할을 하며, 미니배치 통계치는 결정 경계의 마진을 증가시켜 일반화 성능을 향상시키는 드롭아웃 유사한 외부 교란을 유도한다.

ABSTRACT

A critically important, ubiquitous, and yet poorly understood ingredient in modern deep networks (DNs) is batch normalization (BN), which centers and normalizes the feature maps. To date, only limited progress has been made understanding why BN boosts DN learning and inference performance; work has focused exclusively on showing that BN smooths a DN's loss landscape. In this paper, we study BN theoretically from the perspective of function approximation; we exploit the fact that most of today's state-of-the-art DNs are continuous piecewise affine (CPA) splines that fit a predictor to the training data via affine mappings defined over a partition of the input space (the so-called "linear regions"). {\em We demonstrate that BN is an unsupervised learning technique that -- independent of the DN's weights or gradient-based learning -- adapts the geometry of a DN's spline partition to match the data.} BN provides a "smart initialization" that boosts the performance of DN learning, because it adapts even a DN initialized with random weights to align its spline partition with the data. We also show that the variation of BN statistics between mini-batches introduces a dropout-like random perturbation to the partition boundaries and hence the decision boundary for classification problems. This per mini-batch perturbation reduces overfitting and improves generalization by increasing the margin between the training samples and the decision boundary.

연구 동기 및 목표

• 최적화 스무쓰닝을 넘어서는 배치 정규화의 이론적 이해를 제공함. 특히 함수 근사에 초점을 맞춘다.
• BN이 널리 사용되지만 이론적 기반은 제한적인 바에 걸쳐 일반화 성능과 학습 속도 향상 이유를 설명한다.
• 무작위 가중치가 있더라도 BN이 네트워크의 스플라인 분할을 데이터 분포에 암묵적으로 적응시킴을 보여준다.
• BN의 미니배치 통계치가 경계 교란을 통해 암묵적 정규화의 한 형태를 유도함을 보여준다.
• BN을 데이터 적응형 초기화 메커니즘으로 정립함으로써 학습 시작 단계부터 성능 향상을 이룬다.

제안 방법

• 모던 딥 네트워크를 연속적인 조각별 애프린(CPA) 스플라인으로 모델링하며, 각 선형 영역은 입력 공간의 분할에 대응한다.
• BN이 미니배치 통계치를 사용해 채널별 활성화를 중심화하고 정규화함으로써 네트워크의 특징 맵을 재매개변수화하는 방식을 분석한다.
• BN이 무작위 가중치가 설정된 상태에서도 스플라인 분할의 경계를 데이터 클러스터 쪽으로 이동시킴을 보여준다.
• BN의 각 미니배치 통계치가 분할 경계에 무작위 교란을 유도함을 도출하며, 이는 드롭아웃과 유사하다.
• 이론적 분석과 실증적 검증을 통해 이러한 교란이 데이터와 결정 경계 사이의 마진 증가와 관련이 있음을 연결한다.
• 평균 장 이론과 분산 분석을 활용해 BN이 선형 영역 기하학과 기울기 조건화에 미치는 영향을 체계화한다.

실험 결과

연구 질문

• RQ1 배치 정규화가 손실 곡면 스무쓰닝을 넘어서 일반화 성능을 향상시키는 이유는 무엇인가?
• RQ2 네트워크 가중치가 무작위로 설정되어 있어도 BN이 강력한 초기화 기법으로 작용하는 이유는 무엇인가?
• RQ3 BN이 깊이 신경망의 입력 공간 스플라인 분할에 미치는 기하학적 영향은 무엇인가?
• RQ4 BN의 미니배치 통계치의 확률적 특성이 정규화에 어떻게 기여하는가?
• RQ5 BN을 비지도 데이터 적응형 함수 근사의 한 형태로 이해할 수 있는가?

주요 결과

• 배치 정규화는 무작위 가중치가 있더라도 깊이 신경망의 스플라인 분할 기하학을 데이터 분포에 맞추는 비지도 학습 기법으로 작용한다.
• 이 적응 과정은 선형 영역 경계를 데이터 포인트에 더 가깝게 놓음으로써 훈련 샘플 주변의 영역 밀도를 높이는 '스마트 초기화'를 초래한다.
• 미니배치 통계치의 변동성은 결정 경계에 드롭아웃 유사한 교란을 유도하며, 이는 데이터와 경계 사이의 마진을 증가시키고 과적합을 줄인다.
• CIFAR-100에 대한 실증 결과는 BN으로 초기화된 네트워크가 데이터 증강이나 훈련 중 BN 없이도 랜덤 또는 편향된 초기화보다 더 빨리 높은 테스트 정확도에 도달함을 보여준다.
• 이론적 분석은 BN이 기울기 업데이트의 분산을 줄여 기울기 조건화를 개선함으로써 기울기 정규화와 최적화 곡면의 조건화를 향상시킴을 확인한다.
• BN의 효과는 단순히 최적화와 관련된 것이 아니며, 네트워크의 인덕티브 바이어스를 근본적으로 변화시켜 그 기능적 분할을 데이터 다양체와 일치시킨다.