[논문 리뷰] Switchable Whitening for Deep Representation Learning

Xingang Pan, Xiaohang Zhan외 3명|arXiv (Cornell University)|2019. 04. 22.

Advanced Neural Network Applications참고 문헌 31인용 수 13

한 줄 요약

이 논문은 훈련 중에 각 레이어마다 최적의 동작을 동적으로 선택함으로써 배치 화이트닝, 인스턴스 화이트닝, 표준화 기법을 통합하는 학습 가능한 정규화 모듈인 스위치가능 화이트닝(SW)을 제안한다. SW는 다양한 비전 작업에서 최신 기술 성능을 달성하며, ADE20K에서 45.33% mIoU를 기록하고 분류, 세분화, 도메인 적응, 스타일 전이 등에서 BN 기반 기준보다 일관된 성능 향상을 보인다.

ABSTRACT

Normalization methods are essential components in convolutional neural networks (CNNs). They either standardize or whiten data using statistics estimated in predefined sets of pixels. Unlike existing works that design normalization techniques for specific tasks, we propose Switchable Whitening (SW), which provides a general form unifying different whitening methods as well as standardization methods. SW learns to switch among these operations in an end-to-end manner. It has several advantages. First, SW adaptively selects appropriate whitening or standardization statistics for different tasks (see Fig.1), making it well suited for a wide range of tasks without manual design. Second, by integrating benefits of different normalizers, SW shows consistent improvements over its counterparts in various challenging benchmarks. Third, SW serves as a useful tool for understanding the characteristics of whitening and standardization techniques. We show that SW outperforms other alternatives on image classification (CIFAR-10/100, ImageNet), semantic segmentation (ADE20K, Cityscapes), domain adaptation (GTA5, Cityscapes), and image style transfer (COCO). For example, without bells and whistles, we achieve state-of-the-art performance with 45.33% mIoU on the ADE20K dataset. Code is available at https://github.com/XingangPan/Switchable-Whitening.

연구 동기 및 목표

• 표준화(예: BN, IN, LN)와 화이트닝(예: BW, IW) 등의 다양한 정규화 기법을 단일 학습 가능한 프레임워크로 통합하는 것.
• 수작업 설계 없이도 작업에 맞는 최적의 정규화 동작을 레이어별로 종단 간(end-to-end) 학습할 수 있도록 하는 것.
• 딥 리プレゼン테이션 학습에서 화이트닝과 표준화의 상대적 기여도를 조사하는 것.
• 다양한 비전 작업에서 다양한 정규화 방법의 행동과 효능을 분석할 수 있는 도구를 제공하는 것.

제안 방법

• SW는 학습 가능한 중요도 가중치를 사용하여 여러 정규화 동작(BW, IW, BN, IN, LN 등)을 하나의 미분 가능한 모듈로 통합한다.
• 각 정규화 유형은 자체 통계(평균 및 공분산)를 사용하여 별도로 계산되며, 학습 가능한 파rameter에 의해 제어되는 가중치 합으로 융합된다.
• 중요도 가중치는 종단 간 학습되며, 이로써 네트워크는 레이어와 작업에 따라 가장 적합한 정규화를 동적으로 선택할 수 있다.
• 최소(BW, IW) 및 완전(BW, IW, BN, IN, LN) 정규화자 집합을 모두 지원하여 탄력적인 적응이 가능하다.
• 프레임워크는 아키텍처 변경 없이도 어떤 CNN 아키텍처에나 즉시 통합할 수 있는 플러그 앤 플레이 방식이다.
• 중요도 가중치의 학습 동역학을 분석하여 작업에 특화된 정규화 선호도를 이해한다.

실험 결과

연구 질문

• RQ1 통합 정규화 프레임워크는 작업 요구사항에 따라 다양한 화이트닝 및 표준화 기법을 스위칭할 수 있는가?
• RQ2 인스턴스 화이트닝(IW)은 이미지 분류 및 도메인 적응과 같은 고수준 비전 작업에 유익한가?
• RQ3 이미 화이트닝이 적용된 상황에서 표준화가 여전히 필요한가, 아니면 완전한 화이트닝만으로도 충분한가?
• RQ4 다양한 정규화 기법은 어떻게 상호작용하며, 다양한 비전 작업에서 각각의 기여도는 어떠한가?

주요 결과

• SW는 ADE20K 세분화 벤치마크에서 45.33% mIoU를 기록하며 최신 기술 성능을 달성했으며, 이는 이전 방법들을 능가한다.
• ImageNet에서 ResNet50를 사용할 경우, SW는 BN 기반 기준보다 정확도를 1.51% 향상시켰다.
• Cityscapes에서의 세분화 작업에서는 SW가 BN 기반 모델보다 정확도를 4.1% 향상시켰다.
• GTA5 → Cityscapes 도메인 적응 작업에서는 VGG16를 사용할 경우, SW가 BN 기반 기준보다 성능을 3.0% 향상시켰다.
• 이미지 스타일 전이 작업에서는 SW가 인스턴스 화이트닝(IW)과 동등한 성능을 보이며, IN보다 낮은 콘텐츠 손실을 기록했다.
• 분석 결과, BW와 IW가 SW에서 주로 선택되는 것으로 나타나, 많은 작업에서 완전한 화이트닝이 표준화의 필요성을 대부분 대체함을 시사한다.