[논문 리뷰] Domain-Specific Batch Normalization for Unsupervised Domain Adaptation

Woong-Gi Chang, Tackgeun You외 3명|arXiv (Cornell University)|2019. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 25

한 줄 요약

이 논문은 도메인 특화 배치 정규화(DSBN)를 제안하며, 이는 소스 도메인과 타겟 도메인 각각에 대해 별도의 배치 정규화 레이어를 사용하면서도 나머지 모든 네트워크 파라미터를 공유하는 새로운 비지도 도메인 적응 프레임워크이다. 두 단계의 훈련 과정을 통해, 첫 번째 단계에서는 DSBN가 통합된 모델을 이용해 가짜 레이블을 생성하고, 두 번째 단계에서는 다중 작업 분류를 통해 이를 정밀하게 다듬음으로써, 도메인 특화 정규화를 통해 도메인 간 불변 표현 학습을 크게 향상시키며 Office-31 및 VisDA-C 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a two-stage algorithm. In the first stage, we estimate pseudo-labels for the examples in the target domain using an external unsupervised domain adaptation algorithm---for example, MSTN or CPUA---integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-the-art accuracy in the standard setting and the multi-source domain adaption scenario.

연구 동기 및 목표

• 도메인 간 이동 문제를 해결하기 위해 도메인 간 불변 특징에서 도메인 특화 정보를 분리한다.
• 모든 다른 모델 파라미터를 공유하면서도 도메인 별로 특화된 배치 정규화 레이어를 도입함으로써 딥 네트워크의 일반화 성능을 향상시킨다.
• 기존의 배치 정규화를 사용하는 딥 러닝 기반 도메인 적응 방법과 호환되는 일반적이고 플러그인 방식의 프레임워크를 개발한다.
• 여러 소스 도메인으로의 효과적인 다중 소스 도메인 적응을 가능하게 하기 위해 DSBN을 다수의 소스 도메인으로 확장한다.
• 가짜 레이블의 반복적 개선과 도메인 특화 정규화를 통해 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 표준 배치 정규화를 대체하여, 소스 도메인과 타겟 도메인 각각에 대해 별도의 통계를 학습하는 두 개의 병렬 BN 브랜치를 갖는 도메인 특화 배치 정규화(DSBN)를 제안한다.
• 두 단계의 훈련 전략을 적용한다: 제1단계에서는 DSBN가 통합된 사전 훈련된 모델이 레이블이 없는 타겟 도메인 데이터에 대해 가짜 레이블을 생성하고, 제2단계에서는 소스 데이터와 가짜 레이블이 부여된 타겟 데이터를 모두 사용하여 다중 작업 분류 네트워크를 훈련시킨다.
• 도메인 간 동일한 네트워크 아키텍처를 사용하지만, 각 도메인 별로 별도의 BN 통계를 유지함으로써, 도메인 간 특징 적응을 가능하게 하면서도 모든 다른 레이어와 파라미터를 공유한다.
• 두 번째 단계에서 반복적 개선을 적용하여, 한 반복에서의 모델이 다음 반복의 개선된 가짜 레이블을 생성하도록 하며, 점진적으로 성능을 향상시킨다.
• 각 소스 도메인에 대해 별도의 BN 브랜치를 할당하여 다중 소스 도메인 적응으로의 프레임워크 확장을 수행함으로써, 여러 소스 간의 공동 적응을 가능하게 한다.
• 기존의 비지도 도메인 적응 방법(MSTN 및 CPUA)에 DSBN을 통합하여 표준 BN 레이어를 DSBN으로 대체함으로써 호환성을 유지하면서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 도메인 특화 배치 정규화를 통해 공유 특징에서 도메인 특화 통계를 분리함으로써 비지도 도메인 적응에서 표현 학습을 향상시킬 수 있는가?
• RQ2 가짜 레이블 개선을 포함한 두 단계 훈련 전략이 도메인 이동 상황에서 모델의 일반화 성능을 향상시키는가?
• RQ3 DSBN은 다중 소스 도메인 적응으로 효과적으로 확장될 수 있으며, 이러한 환경에서 표준 BN보다 우수한 성능을 낼 수 있는가?
• RQ4 공유 배치 정규화에 비해 DSBN은 도메인 간 불변 표현 학습을 어느 정도 향상시키는가?
• RQ5 두 번째 단계 훈련에서 가짜 레이블의 반복적 개선이 최종 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• Office-31 데이터셋에서 DSBN은 최신 기술 수준의 정확도를 달성하였으며, MSTN와 결합할 경우 평균 정확도 75.4%를 기록하고, CPUA와 결합할 경우 81.2%의 정확도를 달성하였다.
• VisDA-C 벤치마크에서 DSBN 기반 프레임워크는 다중 소스 설정에서 MSTN를 사용할 경우 82.3%의 정확도, CPUA를 사용할 경우 83.0%의 정확도를 기록하였으며, 표준 BN 및 기타 베이스라인을 크게 능가하였다.
• 절단 분석 결과, 두 단계 모두에서 DSBN을 사용할 경우 제2단계에서 BN 전용 훈련 대비 +7.9%의 정확도 향상을 보였으며, 이는 도메인 특화 정규화의 중요성을 입증한다.
• 반복적 제2단계 훈련을 통해 정확도가 첫 번째 반복 후 80.2%에서 네 번째 반복 후 82.7%로 향상되었으며, 시간이 지남에 따라 가짜 레이블을 개선하는 것이 유의미한 이점을 제공한다는 것을 확인하였다.
• t-SNE 시각화 결과, DSBN이 동일한 클래스의 도메인 간 특징 간 정렬을 향상시켜 더 나은 도메인 간 불변 표현 학습을 가능하게 함을 확인하였다.
• 정교한 분류나 모호한 카테고리에서 특히 높은 성능 향상을 보였으며, 어려운 분류 카테고리 전반에 걸쳐 일관된 성능 향상이 이루어졌다.