[논문 리뷰] Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019

Yingwei Pan, Yehao Li외 3명|arXiv (Cornell University)|2019. 10. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 5

한 줄 요약

이 논문은 VisDA-2019 챌린지에서 다중 소스 및 준수감독 도메인 적응을 위한 하이브리드 접근법을 제안하며, CycleGAN을 통한 픽셀 수준의 적응과 일반화된 교차 엔트로피 손실을 사용한 앙상블 모델을 통한 특징 수준의 적응을 조합한다. 이 방법은 최첨단 성능을 달성하여 클립아트 테스트 세트에서 81.61%의 top-1 정확도와 반복적인 EEA 및 FFA 모듈을 사용한 고해상도 입력을 활용해 전체 평균 정확도 75.96%를 기록한다.

ABSTRACT

This notebook paper presents an overview and comparative analysis of our systems designed for the following two tasks in Visual Domain Adaptation Challenge (VisDA-2019): multi-source domain adaptation and semi-supervised domain adaptation. Multi-Source Domain Adaptation: We investigate both pixel-level and feature-level adaptation for multi-source domain adaptation task, i.e., directly hallucinating labeled target sample via CycleGAN and learning domain-invariant feature representations through self-learning. Moreover, the mechanism of fusing features from different backbones is further studied to facilitate the learning of domain-invariant classifiers. Source code and pre-trained models are available at \url{https://github.com/Panda-Peter/visda2019-multisource}. Semi-Supervised Domain Adaptation: For this task, we adopt a standard self-learning framework to construct a classifier based on the labeled source and target data, and generate the pseudo labels for unlabeled target data. These target data with pseudo labels are then exploited to re-training the classifier in a following iteration. Furthermore, a prototype-based classification module is additionally utilized to strengthen the predictions. Source code and pre-trained models are available at \url{https://github.com/Panda-Peter/visda2019-semisupervised}.

연구 동기 및 목표

• 다수의 소스 도메인과 제한된 레이블이 부여된 타겟 데이터가 존재할 때 시각적 도메인 적응에서 도메인 이동 문제를 해결한다.
• 픽셀 수준과 특징 수준의 적응 기법을 조합하여 모델의 일반화 능력을 향상시킨다.
• 가짜 레이블링과 프로토타입 기반 분류를 통한 반복적 자기학습을 활용한 준수감독 도메인 적응을 위한 견고한 프레임워크를 개발한다.
• 다양한 딥 백본 간의 특징 융합이 도메인 불변 표현 학습에 미치는 영향을 조사한다.
• 다중 소스 및 준수감독 도메인 적응 작업 모두에서 VisDA-2019 벤치마크에서 최첨단 성능을 달성한다.

제안 방법

• CycleGAN을 사용해 소스 도메인 이미지(예: 스케치, 실사)를 타겟 도메인 스타일(예: 클립아트, 페인팅)로 변환하여 합성 레이블이 부여된 데이터를 생성함으로써 비지도 픽셀 수준의 적응을 수행한다.
• 다양한 백본(예: EfficientNet-B7, Inception-ResNet-v2)을 사용해 여덟 개의 소스 전용 모델을 훈련하고, 이들의 예측을 평균화하여 레이블이 없는 타겟 샘플에 대한 초기 가짜 레이블을 생성한다.
• 가짜 레이블이 부여된 타겟 데이터에 일반화된 교차 엔트로피 손실을 사용해 모델을 종단 간 최적화하는 종단 간 적응(EEA) 모듈을 구현한다.
• 모든 백본 쌍의 특징을 이중 풀링을 통해 융합하는 특징 융합 기반 적응(FFA) 모듈을 설계하여 36개의 분류기(28개 융합형, 8개 단일형)를 훈련시켜 도메인 불변 특징 학습을 향상시킨다.
• EEA 및 FFA 모듈을 번갈아가며 다중 반복하여 수행함으로써 가짜 레이블을 정교화하고 모델의 견고성을 향상시킨다.
• 준수감독 적응에서 예측 신뢰도를 강화하고 일반화 능력을 향상시키기 위해 프로토타입 기반 분류 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 CycleGAN을 통한 다수의 소스 도메인과 합성 데이터의 조합이 다중 소스 도메인 적응에서 성능 향상에 기여하는 방식은 무엇인가?
• RQ2 자기학습을 위한 도메인 적응에서 일반화된 교차 엔트로피 손실을 사용할 경우 표준 교차 엔트로피 손실과 비교해 어떤 영향을 미치는가?
• RQ3 다양한 딥 백본 간의 특징 융합이 도메인 불변 표현 학습에 얼마나 기여하는가?
• RQ4 EEA 및 FFA 모듈을 번갈아가며 반복적으로 정교화한 가짜 레이블이 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 최소한의 레이블이 부여된 타겟 데이터에서 프로토타입 기반 분류가 준수감독 도메인 적응의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 네 번의 반복과 고해상도 입력을 사용한 하이브리드 EEA+FFA 시스템은 클립아트 테스트 세트에서 81.61%의 top-1 정확도와 VisDA-2019 전체 테스트 세트에서 75.96%의 평균 정확도를 기록했다.
• CycleGAN을 사용해 합성된 소스 유사 이미지(예: 실사*)를 생성함으로써 스케치 검증 세트에서 소스 전용 모델의 정확도가 53.30%에서 63.01%로 향상되었다.
• 일반화된 교차 엔트로피 손실을 사용한 EEA 모듈이 표준 교차 엔트로피 손실보다 우수한 성능을 보였으며, 레이블이 없는 타겟 샘플에 대한 견고한 손실 최적화의 이점을 입증했다.
• FFA 모듈에서 이중 풀링을 통한 특징 융합은 성능 향상에 상당한 기여를 하였으며, 검증 세트에서 평균 정확도를 63.01%에서 67.58%로 상승시켰다.
• 준수감독 적응에서 EEA3와 프로토타입 기반 분류를 통한 반복적 정교화는 71.41%의 평균 정확도를 달성하여 소스 전용 기준보다 7.1% 향상되었다.
• 다양한 소스 도메인, 합성 데이터, 그리고 다양한 백본 간의 앙상블 학습의 조합이 최첨단 성능 달성에 핵심적인 역할을 하였다.