[논문 리뷰] On Universal Black-Box Domain Adaptation

Bin Deng, Yabin Zhang외 3명|arXiv (Cornell University)|2021. 04. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 8

한 줄 요약

이 논문은 소스 데이터나 소스 모델 가중치에 접근할 수 없고, 오직 소스 모델의 인터페이스만 제공되는 상황에서 작동하는 유니버설 블랙박스 도메인 어댑테이션(UB²DA)을 제안한다. 이는 소스 레이블 공간이 알려져 있지 않으며 잠재적으로 다를 수 있는 새로운 설정이다. 국소 예측 일관성에 의해 정규화된 자기 훈련 프레임워크를 통해 클래스 내 분류와 클래스 외 탐지 기능을 통합하여, 소스 데이터나 모델에 접근하지 않고도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we study an arguably least restrictive setting of domain adaptation in a sense of practical deployment, where only the interface of source model is available to the target domain, and where the label-space relations between the two domains are allowed to be different and unknown. We term such a setting as Universal Black-Box Domain Adaptation (UB$^2$DA). The great promise that UB$^2$DA makes, however, brings significant learning challenges, since domain adaptation can only rely on the predictions of unlabeled target data in a partially overlapped label space, by accessing the interface of source model. To tackle the challenges, we first note that the learning task can be converted as two subtasks of in-class\footnote{In this paper we use in-class (out-class) to describe the classes observed (not observed) in the source black-box model.} discrimination and out-class detection, which can be respectively learned by model distillation and entropy separation. We propose to unify them into a self-training framework, regularized by consistency of predictions in local neighborhoods of target samples. Our framework is simple, robust, and easy to be optimized. Experiments on domain adaptation benchmarks show its efficacy. Notably, by accessing the interface of source model only, our framework outperforms existing methods of universal domain adaptation that make use of source data and/or source models, with a newly proposed (and arguably more reasonable) metric of H-score, and performs on par with them with the metric of averaged class accuracy.

연구 동기 및 목표

• 소스 데이터나 모델 가중치에 접근할 수 없고 오직 소스 모델의 인터페이스만 이용 가능한 상황에서 도메인 어댑테이션의 실용적 과제를 해결하기 위해.
• 목표 레이블 공간이 알려져 있지 않으며 소스와 다를 수 있는 상황에서 강건한 어댑테이션을 가능하게 하기 위해.
• 소스 데이터나 모델 아키텍처에 의존하지 않고도 클래스 내 분류와 이상치 탐지 기능을 동시에 수행할 수 있는 방법을 개발하기 위해.
• 잘 초기화된 블랙박스 모델이 소스 데이터에 대한 전체 액세스가 필요한 방법보다도 우수한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• UB²DA 작업을 두 가지 하위 과제로 분해한다: 소스 모델의 예측 결과를 통해 지식 정렬을 통한 클래스 내 분류.
• 클래스 외 탐지는 목표 예측에 대해 엔트로피 분리 기반으로 훈련된 이진 분류기로 달성된다.
• 자기 훈련 프레임워크를 통해 두 하위 과제를 통합하며, 목표 모델의 예측 결과에서 생성된 편가속 레이블을 활용한다.
• 목표 샘플의 국소 이웃에 대해 일관성 정규화를 적용하여 훈련을 안정화하고 일반화 성능을 향상시킨다.
• 교차 엔트로피 손실을 통한 클래스 내 분류와 엔트로피 기반 손실을 통한 클래스 외 탐지의 조합된 손실을 통해 프레임워크를 종합적으로 최적화한다.
• 이 방법은 아키텍처에 종속되지 않으며 오직 소스 모델의 순방향 전파 출력 결과에만 접근하면 된다.

실험 결과

연구 질문

• RQ1 소스 데이터나 모델 가중치에 접근할 수 없고 오직 사전 학습된 소스 모델의 인터페이스만 제공되는 상황에서 효과적인 도메인 어댑테이션이 가능할 수 있는가?
• RQ2 목표 레이블 공간이 알려져 있지 않고 소스와 부분적으로 겹치지 않을 경우, 모델은 어떻게 이상치 샘플을 탐지할 수 있는가?
• RQ3 국소 일관성 정규화를 갖춘 자기 훈련 프레임워크는 블랙박스 환경에서 클래스 내 분류와 클래스 외 탐지를 효과적으로 통합할 수 있는가?
• RQ4 블랙박스 어댑테이션 방법은 H-스코어와 평균 클래스 정확도 측면에서 비블랙박스 SOTA 방법보다 우수한 성능를 보일 수 있는가?

주요 결과

• 제안된 UB²DA 방법은 다양한 벤치마크에서 비블랙박스 SOTA 유니버설 도메인 어댑테이션 방법보다 H-스코어 측정치에서 뛰어난 일반화 능력과 강건성을 입증하며 슈퍼리어한 성능를 보였다.
• Office31 데이터셋에서, ResNet18을 사용할 경우 평균 정확도 91.3% ± 0.2, ResNet34를 사용할 경우 91.1% ± 0.3, ResNet50를 사용할 경우 91.7% ± 0.1을 기록하여 다양한 백본에서 뛰어난 성능를 보였다.
• 초기화 조정에 대한 수치적 민감도 분석 결과, ρ, β, M의 다양한 값 범위에서 성능 저하가 최소한이었으며, 이는 안정성과 배포 용이성을 시사한다.
• 실험 결과, 소스 데이터나 모델 파rameter를 사용하지 않음에도 불구하고 평균 클래스 정확도 측면에서 비블랙박스 SOTA 방법과 유사한 성능를 보였다.
• 제거 실험 결과, 클래스 내 지식 정렬과 엔트로피 기반의 클래스 외 탐지 기능이 최종 성능에 크게 기여하는 것으로 확인되었다.