[논문 리뷰] OVANet: One-vs-All Network for Universal Domain Adaptation

Kuniaki Saito, Kate Saenko|arXiv (Cornell University)|2021. 04. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 14

한 줄 요약

OVANet는 유니버설 도메인 어댑테이션을 위한 단순하면서도 효과적인 온-바이-올(One-vs-All, OVA) 네트워크를 제안하며, 소스 데이터의 클래스 간 거리 정보를 기반으로 미지 클래스를 거부하는 동적 임계치를 학습함으로써 수동적인 하이퍼파라미터 튜닝에 의존하지 않는다. 타겟 데이터에서 OVA 분류기 학습과 오픈셋 엔트로피 최소화를 통해, 다양한 벤치마크에서 최신 기준 성능을 달성하며, 레이블 분포의 변화에 대해 뛰어난 내구성을 보인다.

ABSTRACT

Universal Domain Adaptation (UNDA) aims to handle both domain-shift and category-shift between two datasets, where the main challenge is to transfer knowledge while rejecting unknown classes which are absent in the labeled source data but present in the unlabeled target data. Existing methods manually set a threshold to reject unknown samples based on validation or a pre-defined ratio of unknown samples, but this strategy is not practical. In this paper, we propose a method to learn the threshold using source samples and to adapt it to the target domain. Our idea is that a minimum inter-class distance in the source domain should be a good threshold to decide between known or unknown in the target. To learn the inter-and intra-class distance, we propose to train a one-vs-all classifier for each class using labeled source data. Then, we adapt the open-set classifier to the target domain by minimizing class entropy. The resulting framework is the simplest of all baselines of UNDA and is insensitive to the value of a hyper-parameter yet outperforms baselines with a large margin.

연구 동기 및 목표

• 미지 샘플에 대한 레이블이 제공되지 않는 유니버설 도메인 어댑테이션(UNDA) 환경에서 미지 클래스 거부 문제를 해결하기 위해.
• 실제 환경에서 비현실적인 검증 또는 사전 비율 기반 수동 임계치 튜닝을 제거하기 위해.
• 소스 데이터에서의 최소 클래스 간 거리를 원칙적인 기준으로 삼아, 알려진 클래스와 미지 클래스를 구분하는 임계치를 학습하기 위해.
• 단 하나의 핵심 하이퍼파라미터만을 가지며, 확장 가능하고 내구성 있으며 단순한 오픈셋 및 유니버설 도메인 어댑테이션 프레임워크를 개발하기 위해.

제안 방법

• 각 소스 클래스에 대해 온-바이-올(OVA) 분류기를 학습하며, 각 분류기는 클래스 간 거리를 사용하여 한 클래스를 나머지 모든 클래스와 구분하도록 학습한다.
• 모든 OVA 분류기에서 계산된 최소 클래스 간 거리를 사용해, 타겟 샘플이 알려진 클래스에 属하는지 여부 또는 미지 클래스로 분류할지 결정하는 학습된 임계치로 활용한다.
• 일반화 성능 향상을 위해, 각 소스 샘플에서 긍정 클래스와 하드 음성 클래스를 사용하여 OVA 분류기를 효율적으로 업데이트하는 하드 음성 분류기 샘플링을 구현한다.
• 오픈셋 엔트로피 최소화(OEM)를 적용하여, OVA 분류기 출력의 엔트로피를 최소화함으로써 타겟 데이터의 비라벨링 샘플을 정렬하고, 알려진 또는 미지 클래스에 대해 확신 있는 예측을 유도한다.
• 소스 분류 손실과 OEM 손실을 균형 잡는 단일 트레이드오프 하이퍼파라미터를 사용해 모델을 엔드 투 엔드로 최적화한다.
• 학습된 OVA 임계치를 활용해, 레이블이 없는 타겟 데이터나 합성된 미지 클래스 생성이 필요 없이 자동으로 데이터 기반으로 미지 샘플을 거부할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 소스 도메인에서의 최소 클래스 간 거리가 타겟 도메인에서 알려진 클래스와 미지 클래스를 구분하는 신뢰할 수 있고 학습 가능한 임계치로 기능할 수 있는가?
• RQ2 레이블이 없는 타겟 데이터나 수동적인 임계치 튜닝에 의존하지 않고, 어떻게 미지 샘플을 거부할 수 있는가?
• RQ3 클래스 간 거리 학습을 통한 온-바이-올 분류 프레임워크가 유니버설 도메인 어댑테이션에서 다양한 레이블 분포 변화에 대해 강건성을 향상시킬 수 있는가?
• RQ4 학습된 OVA 임계치와 결합했을 때, 오픈셋 엔트로피 최소화가 타겟 샘플을 알려진 또는 미지 클래스로 효과적으로 정렬하는가?
• RQ5 기존의 히우리스틱 또는 검증 기반 임계치를 사용하는 UNDA 방법과 비교해, 제안된 방법은 성능과 안정성 측면에서 어떻게 우월한가?

주요 결과

• 오픈-퍼티셜 도메인 어댑테이션 환경에서 OfficeHome 벤치마크에서 OVANet는 기존의 모든 베이스라인을 능가하며, H-스코어 71.8%를 기록하여 다음으로 좋은 방법의 68.8%를 상회한다.
• 오픈셋 도메인 어댑테이션 환경에서 Office 데이터셋에서 OVANet는 H-스코어 76.1%를 달성하여, 베이스라인 소프트맥스 방법(65.5%)과 엔트로피 기반 방법(66.8%)을 크게 앞서간다.
• 오픈셋 인식 벤치마크에서 OVANet는 AUROC 80.5%를 기록하여 알려진 클래스와 미지 클래스 간 강력한 분리 성능을 보였다.
• OVANet는 공유 클래스와 미지 클래스의 비율 변화에 대해 매우 강건하며, 다양한 도메인 이동 및 카테고리 이동 시나리오에서도 뛰어난 성능을 유지한다.
• 하이퍼파라미터 선택에 매우 민감하지 않으며, 소스 분류 손실과 오픈셋 엔트로피 최소화 간의 트레이드오프를 제어하는 유일한 핵심 하이퍼파라미터만 존재한다.
• 아블레이션 연구 결과, OVA 분류기 출력이 소프트맥스나 엔트로피 기반 출력보다 더 우수한 불확실성 캘리브레이션 성능을 보였으며, AUROC 점수는 항상 기존 방법보다 높게 유지되었다.