[논문 리뷰] A Sample Selection Approach for Universal Domain Adaptation

Omri Lifshitz, Lior Wolf|arXiv (Cornell University)|2020. 01. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 7

한 줄 요약

이 논문은 유니버설 도메인 어댑테이션(UDA)을 위한 샘플 선택 방법을 제안하며, 분류기 신뢰도와 도메인 구분자 불확실성의 조합으로 새로운 점수 체계를 도입하여 공통 클래스에서 온 타겟 샘플을 선택적으로 의사 레이블링함으로써 성능을 향상시킨다. 이 방법은 레이블 붕괴를 방지하기 위해 배치 다양성 손실을 도입하며, 선택적 레이블링과 동적 임계값 설정을 통해 이전 방법들을 능가함으로써 Office31 및 OfficeHome 벤치마크에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

We study the problem of unsupervised domain adaption in the universal scenario, in which only some of the classes are shared between the source and target domains. We present a scoring scheme that is effective in identifying the samples of the shared classes. The score is used to select which samples in the target domain to pseudo-label during training. Another loss term encourages diversity of labels within each batch. Taken together, our method is shown to outperform, by a sizable margin, the current state of the art on the literature benchmarks.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인이 부분적으로 공통 클래스를 공유하는 유니버설 도메인 어댑테이션의 과제를 해결하기 위해, 공통 클래스에 속하는 것만 식별하고 분류할 수 있는 모델이 필요하다.
• 공통 클래스에서 유래하지 않은 타겟 샘플로 인한 잘못된 의사 레이블링 위험을 줄이기 위해, 공통 클래스에서 유래할 가능성이 높은 타겟 샘플에 대해서만 선택적으로 레이블링을 수행한다.
• 모든 타겟 샘플을 '알 수 없음'으로 예측하는 모델 붕괴를 방지하기 위해, 각 훈련 배치 내에서 레이블의 다양성을 강제한다.
• 레이블 분류기의 신뢰도와 도메인 구분자의 불확실성을 조합한 새로운 점수 기반 메커니즘을 통해 일반화 능력과 견고성을 향상시킨다.
• 기존 접근 방식보다 더 단순하면서도 효과적인 프레임워크를 통해 표준 UDA 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 레이블 분류기의 신뢰도와 도메인 구분자의 불확실성을 조합한 점수 함수를 제안하여, 공통 클래스에서 온 타겟 샘플을 식별한다.
• 점수 값이 동적 임계값을 초과하는 타겟 샘플에 대해서만 의사 레이블링을 적용하여, 외부 분포 샘플로부터의 오류 전파를 줄인다.
• 각 배치 내에서 예측 레이블의 분포가 균일하도록 유도하는 배치 다양성 손실을 도입하여, 모든 샘플이 한두 개의 클래스로 몰리지 않도록 한다.
• 훈련 중에 모델의 신뢰도에 따라 적응하는 동적 임계값 전략을 적용하여, 훈련 후반 단계에서 고신뢰도 샘플을 더 효과적으로 활용할 수 있도록 한다.
• 세 가지 손실 함수를 동시에 최적화하여 모델을 훈련한다: 도메인 혼동 손실, 샘플 선택을 포함한 의사 레이블링 손실, 그리고 배치 다양성 손실.
• 다양성 손실을 원천 도메인과 타겟 도메인 양쪽에 적용하지만, 실험 결과 타겟 도메인에만 적용해도 충분히 좋은 성능을 기록함을 확인했다.

실험 결과

연구 질문

• RQ1 레이블 분류기의 출력과 도메인 구분자의 출력을 조합한 신뢰도 기반 점수 체계가 유니버설 도메인 어댑테이션에서 샘플 선택 성능을 향상시키는가?
• RQ2 각 훈련 배치 내에서 레이블 다양성을 강제하면 모델 붕괴를 방지하고 UDA에서 일반화 능력을 향상시키는가?
• RQ3 고정 임계값 대비 동적 임계값 설정이 다양한 데이터셋에서 성능과 견고성 측면에서 어떻게 비교되는가?
• RQ4 원천 도메인과 타겟 도메인 간에 부분적인 클래스 오버랩만 존재할 경우, 제안된 방법이 기존 UDA 접근 방식보다 더 효과적인가?
• RQ5 원천 도메인과 타겟 도메인 양쪽에 다양성 손실을 적용하는 것과 타겟 도메인에만 적용하는 것 사이에서 성능 향상 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 Office31 및 OfficeHome 벤치마크에서 최신 기준 성능을 달성하며, 이전 최신 기준 방법들보다 유의미한 성능 향상을 보였다.
• 고정 임계값 대비 동적 임계값 전략을 사용할 경우, 훈련 후반 단계에서 고신뢰도 샘플을 더 효과적으로 활용할 수 있어 성능 향상이 뚜렷했다.
• 원천 도메인과 타겟 도메인 양쪽에 다양성 손실을 적용한 경우, 타겟 도메인에만 적용한 것보다 略적으로 더 좋은 성능을 기록했으며, 원천 예측값에 대한 정규화도 유의미한 이점이 있음을 시사했다.
• 레이블 분류기의 신뢰도와 도메인 구분자의 불확실성을 조합한 점수 체계가 이전에 제안된 점수 방법들보다 공통 클래스 샘플을 더 잘 식별했다.
• 결정 임계값 $w_0$ 가 0에서 1.4 사이의 넓은 범위에서 변할 때에도 모델의 성능이 견고했으며, $w_0 > 1.4$ 가 되자 급격히 성능이 떨어짐을 확인하여 적절한 임계값 캘리브레이션의 중요성을 입증했다.
• 실험 결과, 다양한 데이터셋과 도메인 이동(예: OfficeHome의 Ar→Cl, Office31의 A→D)에서 최적의 임계값이 다름을 확인했으며, 이는 동적 임계값 전략의 우수성을 뒷받침한다.