[논문 리뷰] UMAD: Universal Model Adaptation under Domain and Category Shift

Jian Liang, Dapeng Hu외 2명|arXiv (Cornell University)|2021. 12. 16.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 소스 데이터가 없이도 알려지지 않은 도메인 및 카테고리 이탈 상황에서 비지도 도메인 적응(UDA)을 위한 유니버설 모델 적응 프레임워크인 UMAD를 제안한다. 이는 소스 데이터가 아닌 소스 모델만 필요로 하며, 이중 헤드 분류기, 자동 임계값 설정을 갖는 정보성 일致성 점수를 통한 알려지지 않은 샘플 거부, 그리고 국소화된 상호정보량을 통한 도메인 정렬을 통해, 소스 데이터 접근 없이도 오픈세트 및 오픈패티셜세트 UDA 시나리오에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning to reject unknown samples (not present in the source classes) in the target domain is fairly important for unsupervised domain adaptation (UDA). There exist two typical UDA scenarios, i.e., open-set, and open-partial-set, and the latter assumes that not all source classes appear in the target domain. However, most prior methods are designed for one UDA scenario and always perform badly on the other UDA scenario. Moreover, they also require the labeled source data during adaptation, limiting their usability in data privacy-sensitive applications. To address these issues, this paper proposes a Universal Model ADaptation (UMAD) framework which handles both UDA scenarios without access to the source data nor prior knowledge about the category shift between domains. Specifically, we aim to learn a source model with an elegantly designed two-head classifier and provide it to the target domain. During adaptation, we develop an informative consistency score to help distinguish unknown samples from known samples. To achieve bilateral adaptation in the target domain, we further maximize localized mutual information to align known samples with the source classifier and employ an entropic loss to push unknown samples far away from the source classification boundary, respectively. Experiments on open-set and open-partial-set UDA scenarios demonstrate that UMAD, as a unified approach without access to source data, exhibits comparable, if not superior, performance to state-of-the-art data-dependent methods.

연구 동기 및 목표

• 소스 데이터가 제공되지 않으며 카테고리 이탈(오픈세트 또는 오픈패티셜세트)이 알려지지 않은 비지도 도메인 적응의 과제를 해결하기 위해.
• 라벨이 부여된 소스 데이터가 필요 없이 오픈세트 및 오픈패티셜세트 UDA 시나리오 모두에서 잘 작동하는 통합 프레임워크를 개발하기 위해.
• 소스 모델과 레이블이 없는 타겟 데이터만을 사용하여 타겟 도메인의 알려지지 않은 샘플을 효과적으로 거부할 수 있도록 하기 위해.
• 기존 분류 경계에서 알려지지 않은 샘플을 밀어내면서 알려진 타겟 샘플을 소스 분류기와 정렬함으로써 도메인 이탈 상황에서도 안정적인 적응을 보장하기 위해.

제안 방법

• 소스 모델 내에서 이중 헤드 분류기를 설계하여, 특징과 로짓의 일치를 기반으로 타겟 샘플의 일치성 점수를 생성한다.
• 믹스업 보간을 통해 계산된 정보성 일치성 점수(iscorE)를 도입하여 불확실성을 측정하고 알려진 샘플과 알려지지 않은 샘플을 구분한다.
• 믹스업 증강 타겟 샘플의 평균 iscorE를 사용하여 거부 임계값을 자동으로 결정한다.
• 알려지지 않은 샘플이 소스 분류 경계에서 멀어지도록 엔트로피 손실을 적용하여 거부 성능을 향상시킨다.
• 일반화된 다양성 항목을 갖춘 국소화된 상호정보량(LMI) 목적함수를 제안하여 알려진 타겟 샘플을 소스 모델과 정렬한다.
• 이중 단계 적응 프로세스를 적용한다: 먼저 임계값을 통한 알려지지 않은 샘플 거부를 수행하고, 그 다음 LMI와 도메인 정렬을 통해 알려진 샘플을 정렬한다.

실험 결과

연구 질문

• RQ1 소스 데이터에 접근할 수 없을 때 오픈세트 및 오픈패티셜세트 UDA 시나리오 모두에서 뛰어난 성능을 달성할 수 있는 모델 적응 프레임워크는 가능한가?
• RQ2 소스 데이터 또는 카테고리 오버랩 정보가 제공되지 않을 경우, 타겟 도메인에서 알려지지 않은 샘플을 효과적으로 탐지하고 거부할 수 있는 방법은 무엇인가?
• RQ3 다양한 불확실성 점수는 소스 데이터 없이도 UDA 성능에 어떤 영향을 미치는가?
• RQ4 제안된 국소화된 상호정보량 목적함수는 다양한 카테고리 이탈 상황에서 알려진 샘플의 정렬을 어떻게 향상시키는가?

주요 결과

• UMAD는 소스 데이터 접근 없이도 오픈세트 및 오픈패티셜세트 UDA 벤치마크에서 최신 기술 수준의 데이터 의존적 방법들과 비교해 유사하거나 뛰어난 성능을 달성한다.
• 자동 임계값 설정을 갖는 제안된 iscorE 점수는 알려지지 않은 샘플 거부 성능을 크게 향상시키며, L2나 코사인 거리와 같은 기준 불확실성 점수를 능가한다.
• 절단 실험을 통해 엔트로피 손실이 성능에 결정적인 영향을 미친다는 것이 확인되었으며, 이 손실을 제거할 경우 알려지지 않은 샘플 처리가 열악해져 HOS 점수에 심각한 하락이 발생한다.
• 일반화된 다양성 항목을 포함한 국소화된 상호정보량(LMI) 목적함수는 편집된 세트 UDA 작업에서 기존 상호정보량 및 다른 기준보다 뛰어난 성능을 보였다.
• UMAD는 알려지지 않은 클래스 수가 변할 때에도 안정적인 성능을 유지하여 오픈세트 UDA 환경에서의 강건성을 입증했다.
• 시각화 결과는 iscorE가 효과적으로 알려진 샘플과 알려지지 않은 샘플을 분리하며, 프레임워크가 이들의 간격을 성공적으로 증가시킨다는 것을 확인했다.