[논문 리뷰] Open Set Domain Adaptation By Novel Class Discovery

Jingyu Zhuang, Ziliang Chen외 3명|arXiv (Cornell University)|2022. 03. 07.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 오픈 세트 도메인 적응(OSDA)를 위한 새로운 접근법인 자기지도형 클래스 발견 어댑터(Self-supervised Class-Discovering Adapter, SCDA)를 제안한다. SCDA는 타겟 데이터 내의 암묵적 신규 클래스를 탐지함으로써, 이를 단일 '알 수 없는' 클래스로 간주하는 기존의 관행을 도전한다. SCDA는 암묵적 클래스 탐지와 도메인 적응 특징 학습을 번갈아 수행하여 OSDA 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성하고, 높은 정확도로 신규 클래스 수를 추정한다.

ABSTRACT

In Open Set Domain Adaptation (OSDA), large amounts of target samples are drawn from the implicit categories that never appear in the source domain. Due to the lack of their specific belonging, existing methods indiscriminately regard them as a single class unknown. We challenge this broadly-adopted practice that may arouse unexpected detrimental effects because the decision boundaries between the implicit categories have been fully ignored. Instead, we propose Self-supervised Class-Discovering Adapter (SCDA) that attempts to achieve OSDA by gradually discovering those implicit classes, then incorporating them to restructure the classifier and update the domain-adaptive features iteratively. SCDA performs two alternate steps to achieve implicit class discovery and self-supervised OSDA, respectively. By jointly optimizing for two tasks, SCDA achieves the state-of-the-art in OSDA and shows a competitive performance to unearth the implicit target classes.

연구 동기 및 목표

• OSDA에서 모든 외부 분포 타겟 샘플을 단일 '알 수 없는' 클래스로 간주하는 일반적인 관행에 도전한다.
• 암묵적 타겟 카테고리 간의 상호 클래스 구조를 忽略할 경우 클러스터 가정 하에 특징 혼동을 유발하는 부정적인 영향을 해결한다.
• 비정답 타겟 데이터 내 암묵적 클래스의 수와 분포를 탐지하는 자기지도형 프레임워크를 개발한다.
• 발견된 암묵적 클래스를 기반으로 분류기 재구성 및 특징 업데이트를 반복함으로써 OSDA 성능을 향상시킨다.
• 알 수 없는 타겟 샘플의 내부 구조를 탐지하는 것이 일반화 성능 향상과 결정 경계 근처에서의 성능 저하 감소에 기여함을 입증한다.

제안 방법

• 초기 단계에서 악성 전훈을 적용하여 알 수 없는 타겟 샘플을 알려진 클래스로부터 분리한다.
• 암묵적 클래스 탐지용 비지도 알고리즘을 설계하여 신규 클래스의 수를 추정하고, 이를 바탕으로 알 수 없는 샘플을 군집화한다.
• 발견된 암묵적 클래스를 단일 '알 수 없는' 클래스가 아닌 별개의 카테고리로 간주하도록 분류기 재구성한다.
• 암묵적 클래스 탐지와 모델 미세조정을 번갈아 수행하여 특징 분리와 분류 정확도를 반복적으로 향상시킨다.
• 발견된 클래스에서 유도된 자기지도형 허위 레이블을 활용하여 지도 레이블이 필요 없이 모델을 업데이트한다.
• 반복적 개선을 통해 클래스 탐지 정확도와 도메인 적응 성능을 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 알 수 없는 타겟 샘플의 내부 구조를 탐지하는 것이 단일 '알 수 없는' 클래스로 간주하는 것보다 OSDA 성능 향상에 기여하는가?
• RQ2 자기지도형 방법이 타겟 도메인 내 암묵적 신규 클래스의 수를 얼마나 정확하게 추정할 수 있는가?
• RQ3 발견된 클래스의 반복적 개선이 더 나은 특징 분리와 분류 성능을 이끌어내는가?
• RQ4 실제 노이즈가 많고 불균형한 타겟 도메인 환경에서 SCDA는 어떻게 성능을 발휘하는가?
• RQ5 정확한 클래스 수 추정과 반복적 모델 최적화 중 어느 것이 최신 기술 수준의 OSDA 성능 달성에 더 큰 기여를 하는가?

주요 결과

• SCDA는 세 가지 OSDA 벤치마크에서 최신 기술 수준 성능을 달성하였으며, OfficeHome에서 DomainNet으로의 이행 시 평균 OS 정확도 55.3%를 기록하여, 이전 SoTA 방법인 SHOT(54.3%)와 STA(48.2%)를 초월한다.
• Office-31 데이터셋에서 SCDA는 알 수 없는 클래스 수를 평균 오차 0.9로 추정하여, DTC(6.1)와 SC(4.2)를 크게 앞서며 뛰어난 성능을 보였다.
• 297개의 지표 알 수 없는 클래스를 포함하는 도전적인 DomainNet⋆ 벤치마크에서 SCDA는 평균 오차 58.5로 클래스 수를 추정하였으며, 고복잡도 환경에서도 뛰어난 강건성을 입증하였다.
• 절단 실험 결과, '알 수 없는' 클래스로 간주하는 것보다 암묵적 클래스 탐지가 성능 향상에 기여하며, 지표 클래스 수가 아닌 추정된 클래스 수를 기반으로 한 반복적 개선도 지표 클래스 수 기반 성능에 매우 가까운 결과를 도출하였다.
• 실제 노이즈가 많고 불균형한 상황(예: OfficeHome에서 DomainNet⋆로의 이행)에서도 SCDA는 더 빠른 수렴 속도와 높은 최고 성능을 보였다.
• 시각화 및 분석 결과, SCDA는 알려진 클래스와 알 수 없는 클래스 간의 특징 혼동을 감소시켰으며, 특히 결정 경계 근처에서 알 수 없는 클래스 내 상호 클래스 구조를 유지함으로써 성능 향상을 이룬다.