[논문 리뷰] Revisiting Batch Normalization For Practical Domain Adaptation

Yanghao Li, Naiyan Wang외 3명|arXiv (Cornell University)|2016. 03. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 367

한 줄 요약

적응 배치 정규화(AdaBN)는 도메인별 BN 통계를 교체하여 새로운 도메인에 적응시키며, 추가 매개변수나 학습 요구 없이 강력한 도메인 적응을 달성합니다.

ABSTRACT

Deep neural networks (DNN) have shown unprecedented success in various computer vision applications such as image classification and object detection. However, it is still a common annoyance during the training phase, that one has to prepare at least thousands of labeled images to fine-tune a network to a specific domain. Recent study (Tommasi et al. 2015) shows that a DNN has strong dependency towards the training dataset, and the learned features cannot be easily transferred to a different but relevant task without fine-tuning. In this paper, we propose a simple yet powerful remedy, called Adaptive Batch Normalization (AdaBN) to increase the generalization ability of a DNN. By modulating the statistics in all Batch Normalization layers across the network, our approach achieves deep adaptation effect for domain adaptation tasks. In contrary to other deep learning domain adaptation methods, our method does not require additional components, and is parameter-free. It archives state-of-the-art performance despite its surprising simplicity. Furthermore, we demonstrate that our method is complementary with other existing methods. Combining AdaBN with existing domain adaptation treatments may further improve model performance.

연구 동기 및 목표

• 출력 계층 너머에서 깊은 신경망의 도메인 시프트를 동기 부여하고 분석한다.
• 배치 정규화 통계를 이용한 간단하고 매개변수 없는 적응 방법을 제안한다.
• 표준 도메인 적응 벤치마크(Office, Caltech-Bing)와 원격 감지 구름 탐지 작업에서 AdaBN을 시연한다.
• AdaBN이 다른 적응 방법과 보완적이며 가변적인 대상 도메인 데이터 가용성에서도 효과적임을 보인다.

제안 방법

• 도메인 특이 통계를 배치 정규화 계층에서 사용하여 소스 도메인과 타깃 도메인 간의 특징 분포를 정렬한다.
• 타깃 도메인 데이터로 온라인 상에서 도메인별 BN 평균과 분산을 추정하고 테스트 시에 이를 적용한다.
• 소스 도메인에서 학습된 BN 매개변수(gamma, beta)를 그대로 두고 도메인별로 통계만 전환한다.
• 도메인별 통계에 의해 AdaBN을 다중 소스 및 semi-supervised 설정으로 확장하는 것을 선택적으로 제안한다.
• 특징 발산 및 대상 도메인 데이터 크기에 따른 민감도에 대한 실증 분석을 제공한다.
• 대규모 원격 감지 이미지 분할에서의 실용적 적용 가능성을 시연한다.

실험 결과

연구 질문

• RQ1 모델 가중치를 변경하지 않고 도메인별 BN 통계만으로 도메인 시프트를 효과적으로 완화할 수 있는가?
• RQ2 최신 방법과 비교하여 표준 단일 소스 및 다중 소스 도메인 적합 벤치마크에서 AdaBN의 성능은 어떠한가?
• RQ3 AdaBN를 위한 안정적인 BN 통계를 얻기 위해 필요한 대상 도메인 데이터 양은 어느 정도인가?
• RQ4 다른 도메인 적응 기법을 보완하여 추가 개선을 이끌어낼 수 있는가?
• RQ5 원격 감지 이미지 분석과 같은 대규모 실제 작업에 AdaBN이 실용적인가?

주요 결과

• AdaBN은 단일 소스 도메인 적응을 향상시키며 표준 벤치마크에서 경쟁적이거나 우수한 결과를 달성한다.
• AdaBN은 CORAL과 결합했을 때도 효과적이며 일부 작업에서 추가 이득을 제공한다.
• Office-31에서 AdaBN과 CORAL을 더하면 75.4/96.2/99.6/72.7/59.0/60.5/77.2(A→W, D→W, W→D, A→D, D→A, W→A, Avg).
• 다중 소스 설정에서 AdaBN은 평균에서 기준선 및 단일 방법 CORAL을 상회한다(AdaBN Avg 83.6 vs CORAL 83.3).
• Caltech-Bing에서 AdaBN은 기준선을 능가하며 보고된 설정에서 Deep CORAL 변형과 유사하거나 더 나은 성능을 보인다.
• AdaBN은 원격 감지의 실용적 구름 탐지 작업에서 큰 위성 간 도메인 차이가 있는 상황에서 상당한 성능 향상을 보여준다.