[논문 리뷰] Weight Standardization

Siyuan Qiao, Huiyu Wang외 3명|arXiv (Cornell University)|2019. 03. 25.

Advanced Neural Network Applications인용 수 49

한 줄 요약

이 논문은 메모리 제약으로 인해 각 GPU가 1~2장의 이미지만 처리하는 마이크로배치 설정에서 표준 배치 정규화(BN)가 성능이 떨어지는 상황에서의 딥 네트워크 훈련을 향상시키기 위해 웨이트 표준화(WS)와 배치-채널 정규화(BCN)를 제안한다. WS는 합성곱 레이어의 가중치를 채널을 기준으로 표준편차로 나누어 손실과 기울기의 리프시츠 상수를 감소시켜, 손실 표면을 매끄럽게 한다. BCN는 추정된 활성화 통계를 사용해 배치 정규화와 채널 정규화를 결합하여 유해한 특이점을 방지하며, 객체 검출, 세그멘테이션, 영상 인식 작업에서 성능을 크게 향상시킨다. 이는 큰 배치로 훈련한 BN의 성능을 따라하거나 뛰어넘는다.

ABSTRACT

Batch Normalization (BN) has become an out-of-box technique to improve deep network training. However, its effectiveness is limited for micro-batch training, i.e., each GPU typically has only 1-2 images for training, which is inevitable for many computer vision tasks, e.g., object detection and semantic segmentation, constrained by memory consumption. To address this issue, we propose Weight Standardization (WS) and Batch-Channel Normalization (BCN) to bring two success factors of BN into micro-batch training: 1) the smoothing effects on the loss landscape and 2) the ability to avoid harmful elimination singularities along the training trajectory. WS standardizes the weights in convolutional layers to smooth the loss landscape by reducing the Lipschitz constants of the loss and the gradients; BCN combines batch and channel normalizations and leverages estimated statistics of the activations in convolutional layers to keep networks away from elimination singularities. We validate WS and BCN on comprehensive computer vision tasks, including image classification, object detection, instance segmentation, video recognition and semantic segmentation. All experimental results consistently show that WS and BCN improve micro-batch training significantly. Moreover, using WS and BCN with micro-batch training is even able to match or outperform the performances of BN with large-batch training.

연구 동기 및 목표

• 메모리 제약으로 인해 각 GPU가 1~2장의 이미지만 처리하는 마이크로배치 훈련에서 배치 정규화(BN)의 성능 저하 문제를 해결한다.
• BN이 마이크로배치 환경에서 가지는 한계를 극복하기 위해 손실 표면 매끄러움과 유해한 특이점 방지를 유지하는 기법을 도입한다.
• 메모리 제약이 있는 시각 작업(예: 객체 검출, 인스턴스 세그멘테이션, 세미틱 세그멘테이션)에서 마이크로배치를 사용해 깊은 네트워크를 효과적으로 훈련할 수 있도록 한다.
• 일반적으로 실현 가능하지 않은 큰 배치 크기를 의존하지 않고도 훈련의 안정성과 성능을 유지하는 방법을 개발한다.

제안 방법

• 웨이트 표준화(WS)는 합성곱 레이어의 가중치를 채널을 기준으로 표준편차로 나누어 손실과 기울기의 리프시츠 상수를 감소시킴으로써 손실 표면을 매끄럽게 한다.
• WS는 각 합성곱 레이어에 대해 적용되며 배치 통계가 필요 없어 마이크로배치 훈련에 적합하다.
• 배치-채널 정규화(BCN)는 추정된 활성화 통계를 사용해 배치 정규화와 채널 정규화를 결합하여 훈련을 안정화하고 유해한 특이점을 방지한다.
• BCN는 배치 수준과 채널 수준의 통계를 모두 활용해 배치 크기가 작을 때도 정규화 안정성을 유지한다.
• 제안된 방법들은 표준 훈련 파이프라인에 통합되어 아키텍처 변경 없이 다양한 시각 작업에 적용된다.
• WS와 BCN는 기존 모델과 옵timizer와 호환되는 플러그 앤 플레이 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 BN이 통계가 부족해 실패하는 마이크로배치 훈련 환경에서 웨이트 표준화가 손실 표면을 효과적으로 매끄럽게 할 수 있는가?
• RQ2 배치 정규화와 채널 정규화를 조합하면 마이크로배치 조건에서 훈련 경로의 유해한 특이점을 완화할 수 있는가?
• RQ3 WS와 BCN의 조합이 메모리 제약이 있는 시각 작업에서 큰 배치로 훈련한 BN과 동등하거나 뛰어난 성능을 내는 데 기여하는가?
• RQ4 WS와 BCN는 아키텍처 수정 없이 다양한 컴퓨터 비전 작업에 일반적으로 적용 가능한가?

주요 결과

• 웨이트 표준화가 마이크로배치 훈련에서 손실과 기울기의 리프시츠 상수를 크게 감소시켜 손실 표면을 매끄럽게 한다.
• 배치-채널 정규화는 작은 배치로 훈련할 때 네트워크가 유해한 제거 특이점에 빠지지 않도록 효과적으로 방지한다.
• WS와 BCN의 조합은 이미지 분류, 객체 검출, 인스턴스 세그멘테이션, 영상 인식, 세미틱 세그멘테이션 등 다양한 작업에서 일관된 성능 향상을 이룬다.
• WS와 BCN를 사용한 마이크로배치 훈련은 평가된 모든 작업에서 큰 배치로 훈련한 BN과 동등하거나 이를 초월한다.
• 제안된 방법들은 강건하고 일반화 능력이 뛰어나 모델 아키텍처나 훈련 초모수를 변경하지 않아도 성능 향상을 제공한다.