[논문 리뷰] When Source-Free Domain Adaptation Meets Learning with Noisy Labels

Yi Li, Gezheng Xu외 6명|arXiv (Cornell University)|2023. 01. 31.

Domain Adaptation and Few-Shot Learning인용 수 20

한 줄 요약

논문은 SFDA를 무한한 라벨 노이즈 학습으로 재정의하고, 기존 LLN 방법들이 이 영역에서 실패함을 증명하며, ELR를 통한 초기 시점 학습 현상(ETP)이 다수의 벤치마크에서 SFDA를 개선하는 모습을 보여준다.

ABSTRACT

Recent state-of-the-art source-free domain adaptation (SFDA) methods have focused on learning meaningful cluster structures in the feature space, which have succeeded in adapting the knowledge from source domain to unlabeled target domain without accessing the private source data. However, existing methods rely on the pseudo-labels generated by source models that can be noisy due to domain shift. In this paper, we study SFDA from the perspective of learning with label noise (LLN). Unlike the label noise in the conventional LLN scenario, we prove that the label noise in SFDA follows a different distribution assumption. We also prove that such a difference makes existing LLN methods that rely on their distribution assumptions unable to address the label noise in SFDA. Empirical evidence suggests that only marginal improvements are achieved when applying the existing LLN methods to solve the SFDA problem. On the other hand, although there exists a fundamental difference between the label noise in the two scenarios, we demonstrate theoretically that the early-time training phenomenon (ETP), which has been previously observed in conventional label noise settings, can also be observed in the SFDA problem. Extensive experiments demonstrate significant improvements to existing SFDA algorithms by leveraging ETP to address the label noise in SFDA.

연구 동기 및 목표

• Source-Free Domain Adaptation (SFDA)의 라벨 노이즈의 특성을 설명하고 이를 전통적인 LLN 가정과 대조한다.
• SFDA 라벨 노이즈가 무한대임을 이론적으로 보이고, 기존의 LLN 방법들이 이 영역에서 어렵다고 주장한다.
• SFDA에서 초기 시점 학습 현상(ETP)이 존재함을 입증하고, 이를 이용해 더러움 라벨의 기억화를 완화한다.
• 현재 SFDA 목표와 통합된 간단한 초기 학습 규제항(ELR)을 제안하고 성능을 향상시킨다.
• 다수의 SFDA 벤치마크(VisDA, DomainNet, Office-Home, Office-31)에서 ELR을 실험적으로 검증하고 여러 SFDA 기준선과 함께 평가한다.

제안 방법

• 소스-프리 도메인 적응(SFDA)을 소스와 타깃 간의 도메인 시프트로 인해 발생하는 무한대 라벨 노이즈로 간주하여 LLN으로 모델링한다.
• 무한대 노이즈 영역을 이론적으로 특성화하고, 경계-노이즈 LLN 방법들이 SFDA 하에서 노이즈에 견디지 못함을 보여준다.
• 초기 학습 동안 깨끗한 샘플과 잘못 라벨링된 샘플을 구분하기 위해 초기 시점 학습 현상(ETP)을 활용한다.
• 현재 예측을 이동 평균의 초기 예측에 고정시키는 ELR 항을 도입하여 노이즈 라벨의 기억화를 줄인다.
• ELR을 기존의 SFDA 목표(예: SHOT, G-SFDA, NRC)와 통합하되 핵심 아키텍처를 변경하지 않는다.
• ELR의 동역학을 제어하기 위한 단일 정규화 가중치 lambda와 모멘텀 파라미터 beta를 제공한다.

실험 결과

연구 질문

• RQ1 SFDA의 라벨 노이즈와 전통적인 LLN 환경 간의 근본적인 차이는 무엇인가?
• RQ2 SFDA의 무한대 라벨 노이즈를 초기 시점 학습 현상(ETP)을 활용해 효과적으로 해결할 수 있는가?
• RQ3 초기 학습 규제 항(ELR)을 추가하면 표준 벤치마크에서 SFDA 성능이 향상되는가?
• RQ4 ELR은 실제로 기존의 SFDA 방법(SHOT, G-SFDA, NRC)와 어떻게 상호 작용하는가?
• RQ5 경계 잡힌 노이즈에 대해 설계된 LLN 방법이 SFDA의 무한대 노이즈에서 여전히 효과가 없는가?

주요 결과

• SFDA 라벨 노이즈는 무한대에 이를 수 있으며 도메인 시프트 아래에서 잘못 라벨링된 타깃 샘플의 오차율이 1에 근접할 수 있다.
• 경계 노이즈를 가정하는 대부분의 LLN 방법은 SFDA 문제에 대해 노이즈에 대한 내성이 없다.
• SFDA에서 ETP가 존재하며 이를 활용해 라벨 노이즈에 대한 강인성을 향상시킬 수 있다.
• SFDA 목표에 ELR을 추가하면 여러 벤치마크에서 일관된 성능 향상이 나타난다.
• ELR이 강화된 SFDA 방법은 소스 전용 및 여러 기준선과 비교해 다수의 데이터셋에서 최첨단 결과를 달성한다.
• 하이퍼파라미터 연구에서 beta와 lambda의 합리적 범위 내에서의 강건성이 확인되며, 극한 값에서 일부 민감성이 관찰된다.