[논문 리뷰] Unifying Unsupervised Domain Adaptation and Zero-Shot Visual Recognition

Qian Wang, Penghui Bu외 1명|arXiv (Cornell University)|2019. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 12

한 줄 요약

이 논문은 감독형 국소 보존 투영(SLPP)을 사용하여 도메인 불변성이고 구분 가능한 부분공간을 학습함으로써 비지도 및 제로샷 시각 도메인 적응을 위한 통합 프레임워크를 제안한다. 반복적인 도메인 정렬을 위해 신뢰도 인식 퇴적 레이블링 전략을 도입하였으며, 비지도 및 제로샷 학습 설정에서 Office-Caltech, Office31, Office-Home 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

Unsupervised domain adaptation aims to transfer knowledge from a source domain to a target domain so that the target domain data can be recognized without any explicit labelling information for this domain. One limitation of the problem setting is that testing data, despite having no labels, from the target domain is needed during training, which prevents the trained model being directly applied to classify unseen test instances. We formulate a new cross-domain classification problem arising from real-world scenarios where labelled data is available for a subset of classes (known classes) in the target domain, and we expect to recognize new samples belonging to any class (known and unseen classes) once the model is learned. This is a generalized zero-shot learning problem where the side information comes from the source domain in the form of labelled samples instead of class-level semantic representations commonly used in traditional zero-shot learning. We present a unified domain adaptation framework for both unsupervised and zero-shot learning conditions. Our approach learns a joint subspace from source and target domains so that the projections of both data in the subspace can be domain invariant and easily separable. We use the supervised locality preserving projection (SLPP) as the enabling technique and conduct experiments under both unsupervised and zero-shot learning conditions, achieving state-of-the-art results on three domain adaptation benchmark datasets: Office-Caltech, Office31 and Office-Home.

연구 동기 및 목표

• 학습 중 타겟 도메인 데이터에 접근이 필요하다는 비지도 도메인 적응의 한계를 보완하기 위해, 타겟 도메인 클래스의 일부만 레이블이 붙어 있는 일반화된 제로샷 학습 문제를 정의한다.
• 레이블이 붙은 소스 데이터와 제한된 레이블이 붙은 타겟 데이터를 활용하여 비지도 도메인 적응과 제로샷 학습을 하나의 프레임워크로 통합한다.
• 소스 및 타겟 도메인을 정렬하면서 국소 데이터 구조를 유지하는 공동 부분공간을 학습함으로써 일반화 성능을 향상시킨다.
• 학습 시 테스트 데이터를 타겟 도메인에서 요구하지 않고도 샘플 외 분류를 가능하게 한다.

제안 방법

• 방법론은 감독형 국소 보존 투영(SLPP)을 사용하여 소스 및 타겟 데이터가 모두 도메인 불변성이고 잘 분리된 저차원 부분공간을 학습한다.
• 비지도 도메인 적응의 경우, 고신뢰도 퇴적 레이블을 반복적으로 타겟 샘플에 할당함으로써 도메인 정렬을 향상시키는 신뢰도 인식 퇴적 레이블 선택 기법을 사용한다.
• 공유 부분공간에서 레이블이 붙은 소스 데이터와 퇴적 레이블이 붙은 타겟 데이터를 활용하여 도메인 불변성과 클래스 분리성을 동시에 최적화한다.
• 제로샷 학습의 경우, 타겟 클래스의 일부만 레이블이 붙은 상태에서 모델을 학습하고, 공유 부분공간의 구조를 활용하여 미리보지 않은 클래스로 일반화한다.
• 이 방법은 딥 특징(예: ResNet50에서 유도된 특징)을 사용하며, Office-Caltech, Office31, Office-Home 데이터셋에서 평가된다.
• LDA와의 비교를 통한 추론 연구에서, 부분공간 학습에서 국소 데이터 구조를 유지하는 것이 중요하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 실제 데이터 제약 조건 하에서 비지도 도메인 적응과 제로샷 시각 인식을 효과적으로 연결할 수 있는 통합 프레임워크는 존재하는가?
• RQ2 학습 중 타겟 도메인의 테스트 샘플이 필요 없이 도메인 정렬을 어떻게 달성할 수 있는가?
• RQ3 SLPP를 통한 국소 데이터 구조 유지가 기존 방법(예: LDA)보다 교차 도메인 분류에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 레이블이 붙은 타겟 클래스의 일부만 학습한 모델이 제로샷 설정에서 미리보지 않은 클래스로 효과적으로 일반화할 수 있는가?

주요 결과

• 제안된 프레임워크는 Office-Caltech, Office31, Office-Home와 같은 세 가지 표준 도메인 적응 벤치마크에서 최신 기술 수준 성능을 달성하였다.
• 제로샷 학습 설정에서 Office-Home에서의 조화 평균 정확도는 70.6%로, 기준 모델 및 개선된 제로샷 학습 알고리즘을 모두 초월하였다.
• 신뢰도 인식 퇴적 레이블링 기법은 비지도 설정에서 도메인 정렬과 모델 일반화 성능을 크게 향상시켰다.
• SLPP는 LDA보다 일관되게 우수한 성능을 보였으며, 부분공간 학습에서 국소 데이터 구조 유지의 중요성을 입증하였다.
• 개선된 제로샷 학습 방법(BiDiLEL 및 MR)은 미리보지 않은 클래스에서 성능이 열악하여, 이 설정에서 클래스 수준의 의미적 표현의 한계를 드러냈다.
• 타겟 클래스의 일부만 레이블이 붙어 있어도 프레임워크는 강력한 성능 유지를 유지하였으며, 일반화된 제로샷 학습의 효과성을 입증하였다.