[논문 리뷰] Training Deep Neural Networks Without Batch Normalization

Divya Gaur, Joachim Folz외 1명|arXiv (Cornell University)|2020. 08. 18.

Neural Networks and Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 최적화 방법을 세심히 조정함으로써 배치 정규화 없이도 딥 리서지컬 네트워크를 성공적으로 훈련시킬 수 있음을 보여준다. 가중치 정규화, 적응형 기울기 클리핑, 웜업 학습률 스케줄링을 사용함으로써, 배치 정규화 대비 낮은 정확도를 보이지만, 특히 ResNet-50와 같은 더 깊은 아키텍처에서, 높은 학습률로 안정적인 훈련과 상당한 메모리 절감을 달성한다. 이는 최적화가 철저히 조정된다면 배치 정규화가 효과적인 훈련을 위해 반드시 필요한 것은 아님을 입증한다.

ABSTRACT

Training neural networks is an optimization problem, and finding a decent set of parameters through gradient descent can be a difficult task. A host of techniques has been developed to aid this process before and during the training phase. One of the most important and widely used class of method is normalization. It is generally favorable for neurons to receive inputs that are distributed with zero mean and unit variance, so we use statistics about dataset to normalize them before the first layer. However, this property cannot be guaranteed for the intermediate activations inside the network. A widely used method to enforce this property inside the network is batch normalization. It was developed to combat covariate shift inside networks. Empirically it is known to work, but there is a lack of theoretical understanding about its effectiveness and potential drawbacks it might have when used in practice. This work studies batch normalization in detail, while comparing it with other methods such as weight normalization, gradient clipping and dropout. The main purpose of this work is to determine if it is possible to train networks effectively when batch normalization is removed through adaption of the training process.

연구 동기 및 목표

• 훈련 과정을 수정함으로써 배치 정규화 없이도 딥 네트워크를 효과적으로 훈련시킬 수 있는지 조사하기 위해.
• 가중치 정규화, 기울기 클리핑, 드롭아웃과 같은 대체 정규화 기법이 훈련 안정성과 성능에 미치는 영향을 평가하기 위해.
• 비-BN 네트워크에서 모델 정확도를 저하시키지 않고도 높은 학습률을 사용할 수 있는지 확인하기 위해.
• 비-BN 네트워크와 배치 정규화 기반 베이스라인 간의 계산 및 메모리 효율성을 분석하기 위해.
• 비-BN 훈련 전략이 ResNet-34 및 ResNet-50와 같은 더 깊은 아키텍처로도 이식 가능할지 탐색하기 위해.

제안 방법

• ResNet-18, -34, -50의 배치 정규화 레이어를 가중치 정규화된 컨볼루션 레이어로 대체함.
• 비-BN 네트워크에서 기울기 폭발 및 소실 문제를 제어하기 위해 적응형 기울기 클리핑을 적용함.
• 초기 학습률을 높게 유지하면서도 안정적인 훈련을 위해 웜업 학습률 스케줄링을 적용한 후 선형 감쇠를 적용함.
• 확률적 경사 하강법를 사용하여 최적화 동역학을 수정함으로써 기울기 크기의 안정성을 유지함.
• 비정규화, 일반적인 배치 정규화, 고정 학습률을 사용한 비-BN, 적응형 스케줄링을 사용한 비-BN 등 다양한 설정 간의 훈련 동역학과 성능을 비교함.
• 모든 변형에서 훈련 시간, GPU 메모리 소비량, 일반화 성능을 측정함.

실험 결과

연구 질문

• RQ1 기울기 크기를 유지함으로써 기울기 소실 또는 폭발을 방지할 수 있다면, 배치 정규화 없이도 유사한 성능를 달성할 수 있는가?
• RQ2 비배치 정규화 네트워크에서 기울기 소실 문제 없이 높은 학습률을 효과적으로 사용할 수 있는가?
• RQ3 가중치 정규화 및 기울기 클리핑과 같은 대체 정규화 방법이 배치 정규화와 유사한 훈련 안정성과 정확도를 제공할 수 있는가?
• RQ4 비-BN 네트워크의 성능는 ResNet-34 및 ResNet-50와 같은 더 깊은 아키텍처로 확장될 때 어떻게 변화하는가?
• RQ5 비-BN 네트워크는 배치 정규화 모델 대비 계산 및 메모리 효율성이 어떻게 되는가?

주요 결과

• 적응형 기울기 클리핑과 웜업 학습률 스케줄링를 적용한 비-BN ResNet-18는 원래의 배치 정규화 ResNet-18와 비교해 검증 정확도가 1.4% 이내로 유사한 성능를 보였다.
• 비-BN ResNet-34 모델은 합리적인 성능를 보였지만, BN 대비 훈련 및 검증 정확도가 약 2% 감소한 것으로 나타났다.
• 비-BN ResNet-50 모델은 심한 과적합과 열악한 일반화 성능를 보이며, 동일한 수정 사항이 더 깊은 아키텍처로 직접 이식 가능한 것은 아님을 시사했다.
• 비-BN 네트워크는 웜업 스케줄링를 통해 최대 0.017까지 높은 학습률을 사용할 수 있었지만, 비정규화 네트워크는 0.00001를 초과하면 발산했다.
• 더 높은 훈련 시간을 견딜지라도, 비-BN 네트워크는 배치 정규화 모델이 사용하는 최대 메모리의 20%만을 소비했다.
• 향후 하이퍼파rameter 조정 및 아키텍처 적응을 통해 비-BN 네트워크는 배치 정규화 모델의 성능를 따라잡거나 뛰어넘을 수 있을 것임을 시사한다.