[논문 리뷰] Cross-domain Self-supervised Learning for Domain Adaptation with Few Source Labels

Donghyun Kim, Kuniaki Saito외 4명|arXiv (Cornell University)|2020. 03. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 33

한 줄 요약

본 논문은 CDS, 교차 도메인 자체-감독(pre-training) 접근법을 소개하여 구별 가능하고 도메인 불변의 특징을 생성하고, 소수의 라벨이 있는 소스 예제와 라벨이 없는 타깃 데이터만으로도 효과적인 도메인 적응을 가능하게 한다.

ABSTRACT

Existing unsupervised domain adaptation methods aim to transfer knowledge from a label-rich source domain to an unlabeled target domain. However, obtaining labels for some source domains may be very expensive, making complete labeling as used in prior work impractical. In this work, we investigate a new domain adaptation scenario with sparsely labeled source data, where only a few examples in the source domain have been labeled, while the target domain is unlabeled. We show that when labeled source examples are limited, existing methods often fail to learn discriminative features applicable for both source and target domains. We propose a novel Cross-Domain Self-supervised (CDS) learning approach for domain adaptation, which learns features that are not only domain-invariant but also class-discriminative. Our self-supervised learning method captures apparent visual similarity with in-domain self-supervision in a domain adaptive manner and performs cross-domain feature matching with across-domain self-supervision. In extensive experiments with three standard benchmark datasets, our method significantly boosts performance of target accuracy in the new target domain with few source labels and is even helpful on classical domain adaptation scenarios.

연구 동기 및 목표

• 소스 라벨이 희소한 상황에서 도메인 시프트를 배우도록 동기를 부여하여 전통적인 비지도 도메인 적응을 비실용적으로 만든다.
• 레이블이 없는 상태에서 도메인 불변이고 클래스 구별 가능한 특징을 산출하는 자체 감독(pre-training) 프레임워크를 개발한다.
• 라벨이 있는 소스 샘플이 적고 라벨이 없는 타깃 데이터만으로도 효과적인 다운스트림 도메인 적응을 가능하게 한다.
• CDS 사전 학습 표현이 표준 벤치마크 전반에 걸쳐 타깃 도메인 정확도를 향상시킨다는 것을 보여준다.

제안 방법

• 교차 도메인 자체 감독(CDS) 학습을 두 가지 상호 보완적 손실로 제안한다: 도메인 내 인스턴스 구별 및 도메인 간 교차 도메인 매칭.
• 소스 및 타깃 도메인에서 도메인 내 유사도 분포를 계산하고 각 도메인 내에서 인스턴스 구별을 수행하기 위해 메모리 뱅크를 사용한다.
• 도메인 간 유사도를 계산하고 엔트로피를 최소화하여 도메인 간에 양의 매치를 강제하고 매칭되지 않은 샘플을 격리시키는 교차 도메인 메모리 기반 매칭을 도입한다.
• 두 손실을 L_CDS = L_W-INS + L_CDM으로 결합하고 모멘텀 기반 업데이트를 사용하여 메모리 뱅크를 업데이트한다.

실험 결과

연구 질문

• RQ1 소스 라벨이 극히 적은 상황에서 교차 도메인 감독을 통한 자체 감독 프리트레이닝이 구별 가능하고 도메인 불변의 특징을 생성할 수 있는가?
• RQ2 CDS 사전 학습이 다수의 벤치마크와 라벨이 적은 설정에서 ImageNet 사전 학습 모델보다 다운스트림 도메인 적응 성능을 향상시키는가?
• RQ3 도메인 내 자체 감독과 도메인 간 자체 감독이 도메인 정렬 및 소스에서 타깃 도메인으로의 지식 이전에 어떻게 기여하는가?
• RQ4 전통적인 도메인 적응 설정과 제안된 소스 라벨이 적은 시나리오 모두에서 CDS가 효과적인가?

주요 결과

• CDS는 Office, Office-Home, VisDA에서 1샷, 3샷 및 매우 희박한 라벨링 설정 하에 이미지넷 사전 학습을 포함한 여러 베이스라인 대비 타깃 정확도를 크게 향상시킨다.
• 라벨링된 소스 예제 수가 감소할수록 CDS의 이점이 커져 희박한 감독에 대한 강건성을 보여준다.
• CDS 사전 학습 표현은 도메인 적응 작업에서 순수 반지도 학습이나 적대 학습 기반 베이스라인보다 다운스트림 성능이 더 우수하다.
• 표준 자체 감독 베이스라인과 비교할 때 CDS는 도메인 적응 타깃 정확도를 상당히 높게 달성하여 교차 도메인 정렬의 이점을 보여준다.
• CDS 위에 반지도 학습을 추가하면 소스 구별력을 해치지 않으면서 타깃 정확도를 더 향상시킬 수 있다.