[논문 리뷰] Multi-source Distilling Domain Adaptation

Sicheng Zhao, Guangzhi Wang외 8명|arXiv (Cornell University)|2019. 11. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 7

한 줄 요약

이 논문은 다수의 레이블이 부여된 소스 도메인을 활용하여 적대적 특징 정렬, 대상 유사도 기반 선택적 샘플 디스틸리케이션, 그리고 소스 분류기의 적응형 가중치 조정을 통해 도메인 적응을 향상시키는 새로운 프레임워크인 다중소스 디스틸링 도메인 적응(MDDA)을 제안한다. MDDA는 Digits-five에서 기존 방법보다 3.3% 향상되고 Office-31에서 0.4% 향상되어 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Deep neural networks suffer from performance decay when there is domain shift between the labeled source domain and unlabeled target domain, which motivates the research on domain adaptation (DA). Conventional DA methods usually assume that the labeled data is sampled from a single source distribution. However, in practice, labeled data may be collected from multiple sources, while naive application of the single-source DA algorithms may lead to suboptimal solutions. In this paper, we propose a novel multi-source distilling domain adaptation (MDDA) network, which not only considers the different distances among multiple sources and the target, but also investigates the different similarities of the source samples to the target ones. Specifically, the proposed MDDA includes four stages: (1) pre-train the source classifiers separately using the training data from each source; (2) adversarially map the target into the feature space of each source respectively by minimizing the empirical Wasserstein distance between source and target; (3) select the source training samples that are closer to the target to fine-tune the source classifiers; and (4) classify each encoded target feature by corresponding source classifier, and aggregate different predictions using respective domain weight, which corresponds to the discrepancy between each source and target. Extensive experiments are conducted on public DA benchmarks, and the results demonstrate that the proposed MDDA significantly outperforms the state-of-the-art approaches. Our source code is released at: https://github.com/daoyuan98/MDDA.

연구 동기 및 목표

• 실제 환경에서는 다양한 분포를 가진 다수의 레이블이 부여된 소스 도메인이 존재하므로 단일 소스 도메인 적응의 한계를 해결한다.
• 대상 도메인과의 도메인 차이에 관계없이 모든 소스를 동일하게 취급하는 것에서 비롯되는 열악한 성능을 해결한다.
• 대상 도메인과 가장 유사한 샘플만 선택적으로 디스틸리케이션하여 전이 가능성(transferability)을 향상시킨다.
• 예측 집계 과정에서 관련성이 높은 소스는 강조하고 관련성이 낮은 소스는 억제하는 적응형 가중치 조정 메커니즘을 개발한다.
• 적대적 도메인 적응에서 기울기 소실을 완화하기 위해 기울기 보정을 적용한 워셔스타인 거리 최소화를 사용한다.

제안 방법

• 각 레이블이 부여된 소스 도메인에서 개별 소스 분류기를 사전 학습하여 분류 기반 특징 학습을 유지한다.
• 도메인 구분자(discriminator)를 사용하여 대상 특징을 각 소스 도메인의 특징 공간에 적대적으로 정렬한다. 이때 경험적 워셔스타인 거리를 최소화한다.
• 적대적 유사도 점수를 기반으로 대상 분포에 가장 가까운 소스 학습 샘플을 선택하여 소스 분류기를 재학습한다.
• 각 소스와 대상 간의 불일치(워셔스타인 거리)를 기반으로 도메인별 가중치를 도출하여 모든 소스 분류기의 예측을 집계한다.
• 학습 안정화와 적대적 도메인 적응 과정에서의 기울기 소실 방지를 위해 기울기 보정을 적용한다.
• Grad-CAM 시각화를 통해 적응 후 분류기가 분류에 유의미한 객체 영역(예: 링 바인더, 노트북)에 더 잘 집중하는 것을 확인하여 모델의 해석 가능성과 도메인 불변성을 검증한다.

실험 결과

연구 질문

• RQ1 대상 도메인과 상당한 분포 차이를 보이는 소스 도메인에서 다중소스 도메인 적응을 어떻게 향상시킬 수 있는가?
• RQ2 대상 도메인과의 유사도 기반으로 소스 샘플을 선택적으로 디스틸리케이션하면 분류기의 일반화 성능이 향상되는가?
• RQ3 도메인 불일치를 고려한 적응형 가중치 전략이 균일하거나 히وري스틱 가중치보다 더 나은 성능을 내는가?
• RQ4 워셔스타인 거리와 기울기 보정을 적용한 적대적 도메인 적응은 학습 안정성과 수렴 성능을 향상시키는가?
• RQ5 제안된 방법은 다양한 도메인 간에 특징의 분류 능력과 관련 객체 부분에 대한 주의 집중을 어느 정도 향상시키는가?

주요 결과

• MDDA는 Digits-five 벤치마크에서 최신 기준 성능(SOTA) 방법인 DCTN보다 평균 정확도 3.3% 향상되었다.
• Office-31 데이터셋에서 MDDA는 SOTA 방법보다 0.4% 향상되어 다양한 도메인 이동 상황에서도 일관된 성능 향상을 보였다.
• 소스 디스틸리케이션은 대상 도메인과 높은 불일치를 보이는 소스 도메인(예: 'mnist'에서 'svhn')에서 최대 2.5%의 성능 향상을 가져왔으며, 선택적 샘플 선택의 효과를 확인했다.
• 절단 실험(Ablation study) 결과, 디스틸리케이션 단계를 제거하면 Digits-five에서 평균 정확도가 1.3% 감소하고 Office-31에서는 1.2% 감소하여 이 기능의 기여도를 입증했다.
• Grad-CAM 시각화 결과, MDDA가 시점 변화나 배경 변화가 있더라도 분류에 유의미한 객체 부분(예: 링 바인더, 노트북)에 더 잘 집중함을 확인했다.
• 제안된 가중치 전략은 관련성이 낮은 소스를 효과적으로 억제한다. 예를 들어 'svhn'을 대상으로 할 경우 유사도가 낮은 소스는 가중치가 낮아져 전체적인 강건성 향상에 기여한다.