[논문 리뷰] Universal Domain Adaptation through Self Supervision

Kuniaki Saito, Donghyun Kim외 2명|arXiv (Cornell University)|2020. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 163

한 줄 요약

DANCE는 자기지도 이웃 클러스터링과 엔트로피 기반 분리를 사용하여 사전 시프트 지식 없이 임의의 범주 변화(CDA, PDA, ODA, OPDA 설정)를 처리하는 보편적 도메인 적응 프레임워크를 제안하며, 기준선보다 우수한 성능을 보입니다.

ABSTRACT

Unsupervised domain adaptation methods traditionally assume that all source categories are present in the target domain. In practice, little may be known about the category overlap between the two domains. While some methods address target settings with either partial or open-set categories, they assume that the particular setting is known a priori. We propose a more universally applicable domain adaptation framework that can handle arbitrary category shift, called Domain Adaptative Neighborhood Clustering via Entropy optimization (DANCE). DANCE combines two novel ideas: First, as we cannot fully rely on source categories to learn features discriminative for the target, we propose a novel neighborhood clustering technique to learn the structure of the target domain in a self-supervised way. Second, we use entropy-based feature alignment and rejection to align target features with the source, or reject them as unknown categories based on their entropy. We show through extensive experiments that DANCE outperforms baselines across open-set, open-partial and partial domain adaptation settings. Implementation is available at https://github.com/VisionLearningGroup/DANCE.

연구 동기 및 목표

• 소스/대상 도메인 적응에서 알려진 범주 겹침을 가정하는 한계를 해결한다.
• 사전 지식 없이 폐쇄형-오픈형-부분적 및 혼합 시 shifts를 다루는 보편적 DA 프레임워크를 개발한다.
• 자체 지도 이웃 클러스터링을 통해 대상 도메인 구조를 학습하고 알려진 클래스와 미지의 클라스를 구분하는 특징을 생성한다.
• 엔트로피 기반 분리 손실을 통해 표적-소스 정렬과 미지의 거부를 선택적으로 허용한다.
• 도메인 특화 정규화를 통해 미지의 클래스에 대한 강건성을 높이고 유용한 소스 특징은 보존한다.

제안 방법

• Domain Adaptive Neighborhood Clustering via Entropy optimization (DANCE) 도입.
• 이웃 클러스터링(NC)을 사용하여 대상 이웃과 소스 프로토타입에 대한 유사도에 대한 엔트로피를 최소화함으로써 대상 특징 학습을 자체 감독한다.
• 엔트로피 분리(ES) 손실을 적용하여 알려진 경우에는 대상 샘플을 소스 프로토타입으로 끌어들이고, 임계값 ρ에 대한 엔트로피에 따라 미지로 멀리 배치한다.
• 약한 도메인 정렬을 돕기 위해 도메인 특화 배치 정규화를 도입한다.
• L2 정규화된 특징과 대상 특징/프로토타입에 대한 메모리 은행을 사용하는 프로토타입 기반 분류기를 활용한다.
• 최종 목적어 L = L_cls + λ (L_nc + L_es)를 최적화한다.

실험 결과

연구 질문

• RQ1 사전 시프트 지식 없이 CDA, PDA, ODA 및 OPDA를 모두 다룰 수 있는 보편적 도메인 적응 방법이 가능한가?
• RQ2 대상 도메인 구조의 자기지도 학습이 알려진 클래스에 대한 올바른 정렬을 가능하게 하면서 미지의 클래스에 대한 차별화를 개선하는가?
• RQ3 다양한 데이터셋에서 알려진 샘플과 미지의 대상 샘플을 구분하는 데 엔트로피 기반 분리가 얼마나 효과적인가?
• RQ4 보편적 DA에서 도메인 특화 배치 정규화가 정렬에 어떤 영향을 미치는가?
• RQ5 다양한 범주 시프트 설정에서 NC 및 ES 손실이 전문화된 DA 벤치마크에 비해 어떻게 성능을 보이는가?

주요 결과

• DANCE는 모든 보편적 DA 설정에서 소스 단독 기준선보다 성능이 향상된다.
• DANCE는 오픈 세트(Open-set) 및 오픈-부분(Open-partial) DA 설정에서 최첨단 성능을 달성하고, 일부 부분 DA 설정에서 경쟁력 있는 결과를 보인다.
• 특징 시각화에서 대상 공간에 알려진 대상이 잘 클러스터링되고 미지는 잘 분리된다.
• NC 및 ES 손실은 미지의 클러스터링을 강화하고 알려진 클래스 구별력을 개선하며, 설정 간에 고정 하이퍼파라미터를 사용해도 효과적이다.
• 대상 감독이 없어도 미지의 클래스에 대한 판별 특징을 유지하고, 미지 수나 소스 비공개 클래스의 변화에 대해 강건성을 보인다.