[논문 리뷰] FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation

Jaemin Na, Heechul Jung외 2명|arXiv (Cornell University)|2020. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 8

한 줄 요약

FixBi는 고정 비율 기반 믹업을 통해 다수의 중간 도메인을 생성함으로써 큰 도메인 차이를 극복하는 새로운 비지도 도메인 적응 방법을 제안한다. 고신뢰도 예측에 대한 双방향 매칭과 저신뢰도 예측에 대한 자기벌림을 통해 상호보완적인 소스-주도 및 타겟-주도 모델을 훈련시켜, Office-31, Office-Home, VisDA-2017 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) methods for learning domain invariant representations have achieved remarkable progress. However, most of the studies were based on direct adaptation from the source domain to the target domain and have suffered from large domain discrepancies. In this paper, we propose a UDA method that effectively handles such large domain discrepancies. We introduce a fixed ratio-based mixup to augment multiple intermediate domains between the source and target domain. From the augmented-domains, we train the source-dominant model and the target-dominant model that have complementary characteristics. Using our confidence-based learning methodologies, e.g., bidirectional matching with high-confidence predictions and self-penalization using low-confidence predictions, the models can learn from each other or from its own results. Through our proposed methods, the models gradually transfer domain knowledge from the source to the target domain. Extensive experiments demonstrate the superiority of our proposed method on three public benchmarks: Office-31, Office-Home, and VisDA-2017.

연구 동기 및 목표

• 소스 도메인에서 타겟 도메인으로의 직접적 적응이 심각한 마진 분포 갭으로 인해 실패하는 큰 도메인 차이 문제를 해결한다.
• 큰 도메인 이동을 고려하지 않는 직접적 도메인 적응에 의존하는 기존 UDA 방법의 한계를 극복한다.
• 상호보완적인 특성을 지닌 중간 도메인을 구성함으로써 소스 도메인에서 타겟 도메인으로의 효과적인 지식 전이를 가능하게 하는 방법을 개발한다.
• 가짜 레이블과 일致성 정규화를 활용한 신뢰도 기반 학습 전략을 통해 모델의 일반화 능력과 강건성을 향상시킨다.
• 타겟 도메인에 레이블 데이터가 존재하지 않는다는 조건에서도 표준 UDA 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 소스와 타겟 도메인 간에 제어된 비율로 소스 및 타겟 샘플을 혼합함으로써 도메인 무작위성을 최소화하는 고정 비율 기반 믹업 기법을 도입하여 다수의 중간 도메인을 생성한다.
• 각각 도메인 공간의 다른 영역에 최적화된 상호보완적인 두 모델—소스-주도 모델과 타겟-주도 모델—을 훈련시킨다.
• 각 모델의 고신뢰도 가짜 레이블을 활용한 양방향 매칭을 통해 예측을 정렬하고, 점차적으로 중간 도메인을 타겟 도메인 쪽으로 이동시킨다.
• 저신뢰도 예측에 대해 자기벌림을 적용하여 자기학습을 통해 모델의 강건성 향상과 과적합 방지를 도모한다.
• 고정된 임계값이 과소적합 또는 과적합을 유도할 수 있으므로, 미니배치의 신뢰도 분포를 기반으로 적응형 신뢰도 임계값을 설정한다.
• 균형 잡힌 소스-타겟 비율을 가진 증강 도메인에 대해 일치성 정규화를 적용하여 훈련을 안정화하고 중간 모델의 발산을 방지한다.

실험 결과

연구 질문

• RQ1 고정 비율 기반 믹업이 소스 도메인과 타겟 도메인 간의 도메인 갭을 줄이기 위해 효과적으로 중간 도메인을 생성할 수 있는가?
• RQ2 고신뢰도 예측에 대한 양방향 매칭이 비지도 도메인 적응에서 지식 전이를 향상시키는가?
• RQ3 타겟 레이블이 존재하지 않는 상황에서 저신뢰도 예측에 대한 자기벌림이 모델의 강건성과 성능을 향상시키는가?
• RQ4 신뢰도 분포 기반 적응형 임계값이 고정 임계값에 비해 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ5 균형 잡힌 중간 도메인에 대한 일치성 정규화가 모델의 발산을 방지하고 훈련 안정성을 향상시키는가?

주요 결과

• ResNet-50를 사용할 때 FixBi는 Office-31에서 평균 정확도 91.4%를 달성하여 기준 모델 MSTN보다 W→A 작업에서 13.8% 높은 성능을 보였다.
• Office-Home에서 FixBi는 평균 정확도 72.7%를 기록하여 SRDC와 RSDA-MSTN보다 약 2% 높은 성능을 보이며 실세계 도메인에서 예술적 도메인으로의 이동 문제에 강력한 성능을 보였다.
• ResNet-101을 사용할 때 VisDA-2017에서 FixBi는 기준 모델 MSTN보다 평균 정확도 22.2% 향상되었으며 최신 기술 수준의 결과를 달성했다.
• VisDA-2017에서 FixBi는 믹업 기반 방법인 DMRL과 DM-ADA보다 12% 높은 성능을 기록하여 중간 도메인 전략의 효과성을 입증했다.
• 제거 실험 결과 양방향 매칭과 자기벌림이 성능 향상에 크게 기여하며, 일치성 정규화가 훈련을 안정화시키는 것으로 확인되었다.
• 타겟 도메인에 레이블 데이터가 필요 없이도 모든 세 벤치마크에서 경쟁 가능한 성능을 달성하여 큰 도메인 이동에 대한 강건성을 입증했다.