[논문 리뷰] Mutual Learning Network for Multi-Source Domain Adaptation

Zhenpeng Li, Zhao Zhen외 3명|arXiv (Cornell University)|2020. 03. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 13

한 줄 요약

이 논문은 다중 소스 도메인 적응(MSDA)을 위한 상호 학습 네트워크(ML-MSDA)를 제안한다. 이는 각 소스-타겟 쌍에 대해 조건부 적대적 적응 네트워크를 브랜치 네트워크로 사용하고, 병합된 다중 소스 도메인을 위한 공통 가이던스 네트워크를 갖는 새로운 프레임워크이며, 예측 분포에 대한 JS-분산 정규화를 통해 상호 학습을 강제한다. 이 방법은 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여, 이전의 UDA 및 MSDA 방법보다 평균 정확도에서 최대 1.7% 향상된다.

ABSTRACT

Early Unsupervised Domain Adaptation (UDA) methods have mostly assumed the setting of a single source domain, where all the labeled source data come from the same distribution. However, in practice the labeled data can come from multiple source domains with different distributions. In such scenarios, the single source domain adaptation methods can fail due to the existence of domain shifts across different source domains and multi-source domain adaptation methods need to be designed. In this paper, we propose a novel multi-source domain adaptation method, Mutual Learning Network for Multiple Source Domain Adaptation (ML-MSDA). Under the framework of mutual learning, the proposed method pairs the target domain with each single source domain to train a conditional adversarial domain adaptation network as a branch network, while taking the pair of the combined multi-source domain and target domain to train a conditional adversarial adaptive network as the guidance network. The multiple branch networks are aligned with the guidance network to achieve mutual learning by enforcing JS-divergence regularization over their prediction probability distributions on the corresponding target data. We conduct extensive experiments on multiple multi-source domain adaptation benchmark datasets. The results show the proposed ML-MSDA method outperforms the comparison methods and achieves the state-of-the-art performance.

연구 동기 및 목표

• 소스 도메인이 서로 다른 데이터 분포를 가진 다중 소스 도메인 적응에서 도메인 이동 문제를 해결한다.
• 소스 도메인이 이질적인 경우 실패하는 단일 소스 도메인 적응 방법의 한계를 극복한다.
• 다중 소스 도메인에서의 효과적인 지식 전이를 가능하게 하면서도 부정적 전이를 최소화하는 프레임워크를 개발한다.
• 다양한 브랜치 네트워크 간의 예측을 정렬하고 공통 가이던스 네트워크를 통해 정확도와 일반화 능력을 향상시키는 상호 학습 메커니즘을 도입한다.
• 특징 수준와 예측 수준에서의 이중 수준 정렬을 통해 소스-소스 및 소스-타겟 도메인 간의 분포 차이를 균형 잡는다.

제안 방법

• 각 소스 도메인-타겟 도메인 쌍에 대해 별도의 조건부 적대적 적응 네트워크(브랜치 네트워크)를 훈련시어 특징을 정렬하고 도메인 이동을 줄인다.
• 공통 특징 추출 레이어를 사용하여 초기 특징을 공유함으로써, 병합된 다중 소스 도메인을 타겟 도메인과 정렬하는 공통 가이던스 네트워크를 훈련시킨다.
• 모든 브랜치 네트워크와 가이던스 네트워크에서 타겟 도메인의 예측 확률 분포에 대해 JS-분산 정규화를 적용하여 상호 학습을 강제한다.
• 이중 정렬 메커니즘을 구현: 각 소스-타겟 도메인 간의 조건부 적대적 특징 정렬과 브랜치 네트워크 및 가이던스 네트워크 간의 JS-분산 기반 중심 예측 정렬.
• 조건부 적대적 손실, 비지도 엔트로피 손실, 상호 학습 정규화 손실을 포함하는 다중 손실 구성 요소를 갖는 공동 훈련 전략을 구현한다.
• 백본 네트워크로 ResNet-101을 사용하고, 모든 네트워크에서 초기 합성곱 단계의 가중치를 공유하여 공통 표현을 유지한다.

실험 결과

연구 질문

• RQ1 소스 도메인이 이질적인 분포를 가질 때, 상호 학습 프레임워크가 다중 소스 도메인 적응에서 도메인 이동을 효과적으로 줄일 수 있는가?
• RQ2 브랜치 네트워크와 가이던스 네트워크 간의 JS-분산 기반 예측 정렬은 모델의 일반화 능력 향상과 부정적 전이 감소에 어떻게 기여하는가?
• RQ3 특징 수준과 예측 수준에서의 이중 수준 정렬은 단일 수준 방법에 비해 도메인 적응 성능을 얼마나 향상시키는가?
• RQ4 병합된 다중 소스 도메인을 모델링하는 공통 가이던스 네트워크의 포함 여부가 개별 소스-타겟 정렬에 비해 더 나은 특징 전이를 이끌어내는가?
• RQ5 조건부 적대적 손실, 엔트로피 손실, 상호 학습 등의 제안된 방법의 개별 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 ML-MSDA 방법은 DomainNet 데이터셋에서 여섯 개의 다중 소스 도메인 적응 작업에 대해 평균 정확도 44.3%를 달성하여, 모든 비교 방법보다 1.7% 포인트 높은 성능을 보였다.
• clp,inf,pnt,rel,skt → qdr 과제와 같이 도전적인 작업에서 ML-MSDA는 기존의 MSDA 및 단일 소스 DA 방법보다 뚜렷이 뛰어나 성능을 내어, 부정적 전이가 감소했음을 시사한다.
• 제거 실험 결과, 상호 학습 정규화를 제거한 경우(ML-w/o LM) 성능이 크게 떨어지며, 이는 모델 안정성과 정확도에서 상호 학습 정규화의 핵심적 역할을 확인한다.
• 추론 시 가이던스 네트워크와 브랜치 네트워크를 모두 활용한 앙상블 방식이, 가이던스 네트워크만 사용하거나 브랜치 네트워크의 평균을 구하는 것보다 더 좋은 성능을 내었다.
• t-SNE를 사용한 특징 시각화 결과, ML-MSDA 하에서 타겟 도메인 특징이 소스 도메인 클러스터에 더 가까이 정렬되어 있음을 확인하여, 향상된 전이 가능성과 분류 가능성을 입증한다.
• 조건부 적대적 정렬을 제거한 변형(ML-w/o condition-adv)은 전체 방법에 비해 성능이 열 劣하며, 예측 조건에 기반한 도메인 정렬의 중요성을 입증한다.