[논문 리뷰] Confidence Score for Source-Free Unsupervised Domain Adaptation

Jonghyun Lee, Dahuin Jung외 2명|arXiv (Cornell University)|2022. 06. 14.

Domain Adaptation and Few-Shot Learning인용 수 21

한 줄 요약

Joint Model-Data Structure (JMDS) 신뢰도 점수와 SFUDA를 위한 학습 프레임워크 CoWA-JMDS를 소개하며 JMDS 가중 학습과 Weight Mixup을 사용하여 SFUDA 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Source-free unsupervised domain adaptation (SFUDA) aims to obtain high performance in the unlabeled target domain using the pre-trained source model, not the source data. Existing SFUDA methods assign the same importance to all target samples, which is vulnerable to incorrect pseudo-labels. To differentiate between sample importance, in this study, we propose a novel sample-wise confidence score, the Joint Model-Data Structure (JMDS) score for SFUDA. Unlike existing confidence scores that use only one of the source or target domain knowledge, the JMDS score uses both knowledge. We then propose a Confidence score Weighting Adaptation using the JMDS (CoWA-JMDS) framework for SFUDA. CoWA-JMDS consists of the JMDS scores as sample weights and weight Mixup that is our proposed variant of Mixup. Weight Mixup promotes the model make more use of the target domain knowledge. The experimental results show that the JMDS score outperforms the existing confidence scores. Moreover, CoWA-JMDS achieves state-of-the-art performance on various SFUDA scenarios: closed, open, and partial-set scenarios.

연구 동기 및 목표

• 소스 데이터 없이 사전 학습된 소스 모델만 사용할 수 있는 SFUDA의 동기 부여와 잘못된 의사 라벨에 대한 취약성 해결.
• 대상 데이터 구조와 모델 정보를 결합하여 샘플별 신뢰도 점수를 개발하여 학습 샘플의 가중치를 더 잘 반영.
• JMDS 점수를 가중치로 사용하고 Target 도메인 지식을 활용하기 위한 Weight Mixup을 도입하는 학습 프레임워크를 제안.
• 닫힌 집합, 열린 집합 및 부분 집합 SFUDA 시나리오 전반에서 JMDS와 CoWA-JMDS의 최첨단 성능을 입증합니다.

제안 방법

• JMDS 점수를 LPG(대상 특징에서의 데이터-구조 측면, 대상 특징의 GMM에서)와 MPPL(의사-레이블의 모델 확률)의 곱으로 정의합니다.
• 타깃 샘플에 대한 p_data와 의사 레이블을 얻기 위해 Gaussian Mixture Modeling을 사용합니다.
• CoWA-JMDS 손실로 학습합니다: L_CoWA-JMDS = JMDS(x_t) * L_CE(p_M(x_t), ŷ_t).
• Weight Mixup을 도입하여 혼합 샘플의 가중치를 JMDS 점수의 가중 합으로 구성해 대상 도메인 지식 활용을 강화합니다.
• 앙상블 클래스 처리 및 미지의 샘플에 대한 엔트로피 기반 필터링으로 열려 있는 집합(open-set) 및 부분 집합(partial-set) 시나리오로 CoWA-JMDS를 확장합니다.
• 보조 네트워크 대신 GMM에서 파생된 의사 레이블에 의존해 학습하는 옵션도 있습니다.]
• research_questions:[
• 샘플별 신뢰도 점수가 소스 모델 지식과 대상 데이터 구조를 모두 통합하면 SFUDA를 어떻게 개선할 수 있는가?
• JMDS 기반 가중치가 잘못된 의사 라벨에 대한 강건성을 기존 신뢰도 점수와 비교해 개선하는가?
• CoWA-JMDS가 닫힌 집합, 열린 집합, 부분 집합 SFUDA 벤치마크에서 최첨단 성능을 달성할 수 있는가?
• Weight Mixup이 SFUDA 학습 중 대상 도메인 지식 활용에 미치는 영향은 무엇인가?

실험 결과

연구 질문

• RQ1 샘플별 신뢰도 점수가 소스 모델 지식과 대상 데이터 구조를 모두 통합하면 SFUDA를 어떻게 개선할 수 있는가?
• RQ2 JMDS 기반 가중치가 잘못된 의사 라벨에 대한 강건성을 기존 신뢰도 점수와 비교해 개선하는가?
• RQ3 CoWA-JMDS가 닫힌 집합, 열린 집합, 부분 집합 SFUDA 벤치마크에서 최첨단 성능을 달성할 수 있는가?
• RQ4 Weight Mixup이 SFUDA 학습 중 대상 도메인 지식 활용에 미치는 영향은 무엇인가?

주요 결과

• JMDS는 SFUDA 작업에서 신뢰도 측정 지표로서 AURC를 통해 LPG, MPPL, Cossim과 같은 기존 신뢰도 점수보다 우수한 성능을 보입니다.
• JMDS 가중치를 사용하는 CoWA-JMDS는 닫힌 집합 SFUDA에서 Office-31, Office-Home, VisDA-2017에서 최첨단 결과를 달성합니다.
• CoWA-JMDS는 또한 열린 집합 및 부분 집합 SFUDA 시나리오에서도 최고 성능을 제공하며 Weight Mixup은 특정 데이터셋에서 평균 정확도를 향상시킵니다.
• Office-31에서 Mixup만 사용했을 때보다 Weight Mixup으로 평균 정확도가 3.4% 향상되어 대상 지식 활용이 강화됨을 보여줍니다.
• JMDS 점수는 초기화 시에도 신뢰성을 유지하고 학습이 진행될수록 더 효과적이 되어 점진적 학습과 과소적합 감소를 가능하게 합니다.