[논문 리뷰] Unified Optimal Transport Framework for Universal Domain Adaptation

Wanxing Chang, Shi Ye외 2명|arXiv (Cornell University)|2022. 10. 31.

Domain Adaptation and Few-Shot Learning인용 수 24

한 줄 요약

UniOT는 비대칭 OT와 표준 OT를 공동으로 활용하여 Universal Domain Adaptation에서 일반 클래스 탐지와 대상 프라이빗 클래스 발견을 함께 처리하고, 적응적 채움(adaptive filling)과 OT 기반 대상 표현 학습을 도입하며, 프라이빗 클래스 클러스터링 평가를 위한 새로운 H3-score 지표를 제시한다.

ABSTRACT

Universal Domain Adaptation (UniDA) aims to transfer knowledge from a source domain to a target domain without any constraints on label sets. Since both domains may hold private classes, identifying target common samples for domain alignment is an essential issue in UniDA. Most existing methods require manually specified or hand-tuned threshold values to detect common samples thus they are hard to extend to more realistic UniDA because of the diverse ratios of common classes. Moreover, they cannot recognize different categories among target-private samples as these private samples are treated as a whole. In this paper, we propose to use Optimal Transport (OT) to handle these issues under a unified framework, namely UniOT. First, an OT-based partial alignment with adaptive filling is designed to detect common classes without any predefined threshold values for realistic UniDA. It can automatically discover the intrinsic difference between common and private classes based on the statistical information of the assignment matrix obtained from OT. Second, we propose an OT-based target representation learning that encourages both global discrimination and local consistency of samples to avoid the over-reliance on the source. Notably, UniOT is the first method with the capability to automatically discover and recognize private categories in the target domain for UniDA. Accordingly, we introduce a new metric H^3-score to evaluate the performance in terms of both accuracy of common samples and clustering performance of private ones. Extensive experiments clearly demonstrate the advantages of UniOT over a wide range of state-of-the-art methods in UniDA.

연구 동기 및 목표

• 도메인 모두에 프라이빗 클래스가 존재하고 사전 라벨 세트 정보가 없는 현실적인 설정으로 UniDA의 필요성을 제시한다.
• 사전에 정의된 임계값 없이 일반 클래스 탐지와 프라이빗 클래스 발견을 다루기 위한 통합 OT 프레임워크를 개발한다.
• 일부/비대칭 OT를 활용해 공통 샘플을 감지하고 OT 기반 표현 학습으로 대상 프라이빗 카테고리를 밝힌다.
• 일반 클래스 정확도와 대상 프라이빗 클러스터링 품질을 모두 반영하는 새로운 평가 지표(H3-score)를 도입한다.

제안 방법

• 일반 클래스 탐지를 대상 샘플과 소스 프토타입 간의 비대칭 OT 기반 부분 정렬로 형식화하고, 다양한 비율의 공통 클래스를 처리하기 위해 적응적 채움을 사용한다.
• 대상 특징과 대상 프토토타입 간의 OT를 사용해 프라이빗 클래스를 발견하며, 전역 구분성과 국소 샘플 일관성(L_global 및 L_local)을 촉진한다.
• 선정된 일반 샘플에 대한 OT 할당으로부터의 의사 라벨(pseudo-label)을 이용해 L_CCD를 정의하고, 그 샘플들에 대한 교차 엔트로피 손실을 사용한다.
• 메모리 증강 OT 솔버와 함께 프토토타입 기반 클러스터링을 공동으로 최적화하는 L_PCD를 정의하고, 전역 분리성과 국소 일관성을 모두 강화한다.
• L_overall = L_cls + λ(L_CCD + L_PCD)로 소스 감독 supervision과 L_CCD 및 L_PCD를 결합하는 전체 목적 함수를 통합한다.
• CCD를 안정화하기 위해 주변 마진값 β를 자동으로 조정하고 비대칭 양성/음성 항목을 채우는 자동 메커니즘을 제공한다.

실험 결과

연구 질문

• RQ1 임계값 핸들링 없이 비대칭 OT와 적응적 채움으로 일반 클래스 탐지를 형식화하면 Universal Domain Adaptation를 Threshold-free로 달성할 수 있는가?
• RQ2 OT 기반 대상 표현 학습 프레임워크를 사용해 대상 프라이빗 카테고리를 UniDA 내에서 효과적으로 발견하고 인식할 수 있는가?
• RQ3 부분 간-도메인 정렬과 도메인 내 OT 클러스터링을 결합하면 표준 UniDA 벤치마크에서 경쟁력 있는 성능을 내는가?
• RQ4 제안된 H3-score가 일반 클래스 정확도와 프라이빗 클래스 클러스터링 품질을 의미 있게 결합한 지표가 되는가?

주요 결과

• UniOT은 이전의 UniDA 방법과 비교해 Office, Office-Home, VisDA, DomainNet 벤치마크에서 최첨단 H-스코어 성능을 달성한다.
• 적응적 채움을 갖춘 OT 기반 CCD가 적응적 채움이 없는 CCD보다 성능이 더 좋으며 양성/음성 탐지의 균형이 중요함을 강조한다.
• L_global이 L_local보다 H3-score 향상에 더 큰 기여를 하며, 프라이빗 클래스 발견에 대한 글로벌 클러스터 구분의 가치가 있음을 시사한다.
• 제안된 H3-score는 일반 클래스 정확도, 프라이빗 클래스 발견, NMI 기반 클러스터링 품질을 결합한 지표로 균형 있는 성능 향상을 보여준다.
• UniOT는 사전 정의된 일반/프라이빗 임계값에 의존하지 않고 현실적인 카테고리 분할에서도 강건한 성능을 보인다.