[논문 리뷰] Batch Normalization Preconditioning for Neural Network Training

Susanna Lange Susanna Lange, Kyle Helfrich외 1명|arXiv (Cornell University)|2021. 08. 02.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 배치 정규화(BN)의 이론적 한계를 해결하기 위해, 네트워크 아키텍처 내부에 정규화를 적용하는 대신 미니배치 통계를 사용하여 파라미터 기울기를 조건화하는 새로운 방법인 배치 정규화 전처리(BNP)를 제안한다. BNP는 수렴 속도를 높이기 위해 헤시안 조건수를 개선하며, 소규모 또는 단일 샘플 미니배치에서도 효과적으로 작동한다. 또한 배치 정규화가 훈련을 개선하는 이유에 대한 이론적 통찰을 제공하며, 온라인 및 저배치 환경에서 표준 BN보다 뛰어난 성능을 보인다.

ABSTRACT

Batch normalization (BN) is a popular and ubiquitous method in deep learning that has been shown to decrease training time and improve generalization performance of neural networks. Despite its success, BN is not theoretically well understood. It is not suitable for use with very small mini-batch sizes or online learning. In this paper, we propose a new method called Batch Normalization Preconditioning (BNP). Instead of applying normalization explicitly through a batch normalization layer as is done in BN, BNP applies normalization by conditioning the parameter gradients directly during training. This is designed to improve the Hessian matrix of the loss function and hence convergence during training. One benefit is that BNP is not constrained on the mini-batch size and works in the online learning setting. Furthermore, its connection to BN provides theoretical insights on how BN improves training and how BN is applied to special architectures such as convolutional neural networks. For a theoretical foundation, we also present a novel Hessian condition number based convergence theory for a locally convex but not strong-convex loss, which is applicable to networks with a scale-invariant property.

연구 동기 및 목표

• 배치 정규화(BN)의 이론적 한계를 해결하기 위해, 비록 광범위하게 사용되지만 완전한 이론적 기반을 갖추지 못한 점을 다루기 위해.
• 미니배치 통계를 사용하여 손실 함수의 헤시안을 직접 조건화함으로써 훈련 수렴 속도를 향상시키는 전처리 방법을 개발하기 위해.
• BN의 이점을 유지하면서도 BN이 실패하는 소규모 또는 단일 샘플 미니배치 설정에서도 효과적으로 작동하는 방법을 만들기 위해.
• BN이 훈련을 향상시키는 이유를 헤시안 조건수와 수렴 속도와 연결하여 이론적으로 설명하기 위해.
• CNN에 대한 BN의 원칙적인 적용을 BNP 프레임워크를 통해 유도하기 위해.

제안 방법

• BNP는 표준 BN이 은닉 활성화를 정규화하는 대신, 훈련 중 파라미터 기울기에 대해 미니배치 통계를 사용하여 전처리를 적용한다.
• 이 방법은 손실 함수의 헤시안을 조정함으로써 은닉 변수 분산을 암묵적으로 정규화하여 헤시안의 조건수를 개선하고 수렴 속도를 향상시킨다.
• 전처리 변환은 손실 함수의 헤시안에서 유도되며, 특정 조건 하에서는 BN과 이론적으로 동치이다. 이는 이론적 동치성을 확립한다.
• BNP는 현재의 미니배치 또는 더 큰 데이터셋의 통계를 사용하므로 통계 추정의 유연성을 제공하며, 소규모 배치 크기에 의존하지 않는다.
• 이 방법은 공간 및 채널 차원의 평균과 분산을 적절히 유도함으로써 CNN에 확장되며, CNN에서 표준 BN 적용의 정당성을 제시한다.
• 국소적으로 볼록하지만 강력히 볼록하지 않은 손실 함수에 대해, 헤시안 조건수 기반의 새로운 수렴 이론을 개발하였으며, 이는 ReLU 활성화 함수를 갖는 스케일 불변 네트워크에 적용 가능하다.

실험 결과

연구 질문

• RQ1 헤시안 조건수와 수렴 분석을 통해 배치 정규화는 어떻게 이론적으로 정당화될 수 있는가?
• RQ2 아키텍처 변경 없이, 온라인 또는 저배치 설정에서 작동하는 배치 정규화의 대체 전처리 방법을 개발할 수 있는가?
• RQ3 배치 정규화와 제안된 전처리 방법 간의 동치성과 수렴 행동의 관계는 무엇인가?
• RQ4 배치 정규화는 어떻게 올바르게 컨volutional 신경망(CNNs)에 적용되어야 하며, 이는 원칙적인 프레임워크에서 어떻게 도출될 수 있는가?
• RQ5 제안된 방법은 매우 소규모 또는 단일 샘플 미니배치와 같은 도전적인 설정에서 표준 배치 정규화를 초월하는가?

주요 결과

• BNP는 표준 훈련 설정에서는 BN과 유사한 성능을 달성하지만, 저배치 또는 단일 샘플 미니배치 환경에서는 BN을 크게 능가한다.
• BNP는 BN이 작은 배치에서 통계가 불안정하여 실패하는 온라인 학습 설정에서도 효과적으로 작동한다.
• 이론적 분석 결과, BNP는 헤시안의 조건수를 향상시켜 국소적으로 볼록하지만 강력히 볼록하지 않은 손실 곡면에서 수렴 속도를 높인다.
• 특정 조건 하에서는 BNP가 BN과 이론적으로 동치이며, BN이 훈련을 향상시키는 이유가 헤시안 조건수를 개선하기 때문이라는 새로운 설명을 제공한다.
• BNP를 CNN에 적용하기 위한 유도 과정은 공간 및 채널 차원의 배치 통계를 사용하는 것으로 이어지며, 이는 CNN에서 표준 BN 적용의 정당성을 제시한다.
• MNIST, CIFAR-10, CIFAR-100, ImageNet에서의 실험 결과, BNP는 소규모 배치 크기에서 정확도와 훈련 속도를 유지하거나 향상시켰다.