[논문 리뷰] Micro-Batch Training with Batch-Channel Normalization and Weight Standardization

Siyuan Qiao, Huiyu Wang외 3명|arXiv (Cornell University)|2019. 03. 25.

Intravenous Infusion Technology and Safety참고 문헌 60인용 수 123

한 줄 요약

논문은 Weight Standardization (WS)와 Batch-Channel Normalization (BCN)을 도입하여 마이크로 배치 학습을 가능하게 하며, 손실 지형의 이론적 스무딩과 비전 과제에서의 실증 이득을 보여준다. WS와 BCN은 큰 배치 크기가 없어도 BN과 같은 이점을 재현하는 것을 목표로 한다.

ABSTRACT

Batch Normalization (BN) has become an out-of-box technique to improve deep network training. However, its effectiveness is limited for micro-batch training, i.e., each GPU typically has only 1-2 images for training, which is inevitable for many computer vision tasks, e.g., object detection and semantic segmentation, constrained by memory consumption. To address this issue, we propose Weight Standardization (WS) and Batch-Channel Normalization (BCN) to bring two success factors of BN into micro-batch training: 1) the smoothing effects on the loss landscape and 2) the ability to avoid harmful elimination singularities along the training trajectory. WS standardizes the weights in convolutional layers to smooth the loss landscape by reducing the Lipschitz constants of the loss and the gradients; BCN combines batch and channel normalizations and leverages estimated statistics of the activations in convolutional layers to keep networks away from elimination singularities. We validate WS and BCN on comprehensive computer vision tasks, including image classification, object detection, instance segmentation, video recognition and semantic segmentation. All experimental results consistently show that WS and BCN improve micro-batch training significantly. Moreover, using WS and BCN with micro-batch training is even able to match or outperform the performances of BN with large-batch training.

연구 동기 및 목표

• 마이크로 배치 학습(각 GPU당 1-2장의 이미지)에서 잘 작동하는 정규화 기술의 필요성을 제시한다.
• BN과 같은 이점(손실 지형의 스무딩 및 소거 특이점 회피)을 마이크로 배치 규칙으로 연결한다.
• WS를 제안하여 합성 합성? conv 가중치를 표준화하고 BCN을 통해 배치 및 채널 통계를 결합하여 학습 안정성과 성능을 향상시킨다.
• 다양한 컴퓨터 비전 태스크에서 WS와 BCN을 평가하여 실용적 이득을 입증한다.

제안 방법

• Weight Standardization (WS) 제안: W를 표준화된 출력 채널별로 평균 0, 분산 1이 되도록 WS(W)로 재매개변수화한다.
• Batch-Channel Normalization (BCN) 소개: 배치 통계와 채널별 통계를 결합해 활성화의 평균과 분산을 추정한다.
• 이론 분석 제공: WS가 손실 및 그래디언트의 Lipschitz 상수를 감소시켜 손실 지형을 완만하게 한다.
• 제거 특이점 분석 및 BN은 특이점에서 활성화를 독특하게 멀리 유지한다는 점을 보이고; WS/BCN이 마이크로 배치 설정으로 이러한 특성을 확장한다고 주장한다.
• Weight Normalization (WN) 및 Centered Weight Normalization (CWN)과의 비교.
• WS+BCN이 대배치에서 BN과 마이크로 배치에서 GN과 비교해 태스크 전반에서 비슷하거나 더 나은 성능을 낼 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 WS와 BCN이 마이크로 배치 학습에서 BN의 이점(손실 지형의 스무딩 및 제거 특이점 회피)을 재현할 수 있는가?
• RQ2 WS와 BCN이 작은 배치 크기에서 다양한 비전 태스크에 걸쳐 학습 속도와 최종 정확도를 개선하는가?
• RQ3 WS와 BCN은 기존 정규화 방법(GN/LN) 및 대배치 BN과 비교했을 때 어떤 차이가 있는가?
• RQ4 WS가 Lipschitz 상수와 제거 특이점에 미치는 이론적 영향은 무엇인가?
• RQ5 일반적인 CNN 아키텍처에서 표준 정규화 계층을 따른 WS와 BCN은 효과적인가?

주요 결과

• WS가 손실 및 그래디언트의 Lipschitz 상수를 낮춰 최적화 지형을 부드럽게 한다.
• WS와 BCN이 제거 특이점으로부터 네트워크를 밀어내 학습 안정성을 향상시킨다.
• 마이크로 배치 학습에서 GN+WS는 일부 태스크에서 대배치의 BN과 대응하거나 능가할 수 있다.
• 대배치 및 마이크로 배치 설정 모두에서 BCN은 GN이나 BN에 비해 추가적인 성능 향상을 제공한다.
• 실험 평가는 이미지 분류, 객체 탐지, 인스턴스 분할, 비디오 인식, 시맨틱 분할 등에서 WS와 BCN의 일관된 개선을 보인다.