[논문 리뷰] Sequential Unsupervised Domain Adaptation through Prototypical Distributions.

Mohammad Rostami, Aram Galstyan|arXiv (Cornell University)|2020. 07. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 7

한 줄 요약

이 논문은 초기 학습 이후 소스 데이터에 접근할 수 없더라도 레이블이 지정된 소스 도메인에서 레이블이 지정되지 않은 타겟 도메인으로 지식을 전이하는 순차적 비지도 도메인 적응 방법을 제안한다. 소스 데이터로부터 학습된 원형 분포를 사용하여 소스 및 타겟 도메인의 특징을 분류 성능이 우수한 임bedding 공간에서 정렬하며, 타겟 리스크 상한 최적화를 통한 이론적 근거를 바탕으로 공동 학습 UDA 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

We develop an algorithm for unsupervised domain adaptation (UDA) of a classifier from a labeled source domain to an unlabeled target domain in a sequential learning setting. UDA has been studied extensively recently but the vast majority of the existing methods consider a joint learning setting where the model is trained on the source domain and the target domain data simultaneously. We consider a more practical setting, where the model has been trained on the labeled source domain data and then needs to be adapted to the unlabeled source domain, without having access to the source domain training data. We tackle this problem by aligning the distributions of the source and the target domain in a discriminative embedding space. To overcome the challenges of learning in a sequential setting, we learn an intermediate prototypical distribution from the source labeled data and then use this distribution for knowledge transfer to the target domain. We provide theoretical justification for the proposed algorithm by showing that it optimizes an upper-bound for the expected risk in the target domain. We also conduct extensive experiments with several standard benchmarks and demonstrate the competitiveness of the proposed method compared to existing joint learning UDA algorithms.

연구 동기 및 목표

• 초기 학습 이후 소스 학습 데이터에 접근할 수 없는 상황에서 사전에 학습된 분류기를 새로운 레이블이 없는 타겟 도메인에 적응시키는 실용적 과제를 해결하기 위해.
• 초기 소스 도메인 학습 이후 지식 전이를 가능하게 하는 순차적 도메인 적응 프레임워크를 개발하기 위해.
• 레이블이 지정된 소스 데이터로부터 원형 분포를 학습하여 도메인 이동을 모델링하고 효과적인 타겟 도메인 정렬을 위해.
• 타겟 도메인의 기대 리스크 상한 최적화를 통해 방법의 이론적 근거를 제공하기 위해.
• 표준 벤치마크에서 방법을 평가하고 최신 공동 학습 UDA 접근법과의 경쟁력을 입증하기 위해.

제안 방법

• 방법은 임베딩 공간에서 레이블이 지정된 소스 도메인 데이터로부터 원형 분포를 학습하여 적응을 위한 지식 기반으로 사용한다.
• 타겟 특징 분포와 학습된 소스 원형 분포 간의 거리를 최소화하여 소스 및 타겟 도메인 분포를 정렬한다.
• 적응은 순차적으로 수행되며, 소스 데이터에 재접근하지 않고 타겟 도메인에서 모델을 피지테이닝한다.
• 알고리즘은 타겟 도메인의 기대 리스크 상한 최적화를 통해 적응 과정에 대한 이론적 근거를 제공한다.
• 방법은 효과적인 특징 수준의 도메인 정렬을 가능하게 하는 분류 성능이 뛰어난 임베딩 공간에서 작동한다.
• 소스 데이터를 재학습하지 않고 고정된 학습된 소스 프로토타입을 활용함으로써 치명적인 기억 상실을 방지한다.

실험 결과

연구 질문

• RQ1 초기 학습 이후 소스 데이터에 접근할 수 없는 상황에서 순차적 도메인 적응 방법이 공동 학습 UDA 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 레이블이 지정된 소스 데이터로부터 학습된 원형 분포가 소스 및 타겟 도메인 특징을 정렬하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 타겟 도메인 리스크 최소화를 위한 이론적으로 탄탄한 최적화 목표를 제공하는가?
• RQ4 이 방법은 순차적 적응 설정에서 여러 표준 벤치마크에 일반화될 수 있는가?
• RQ5 고정된 프로토타입 사용이 순차적 도메인 적응에서 분포 이동을 어떻게 완화하는가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 최신 공동 학습 UDA 알고리즘과 비교해도 경쟁 가능한 성능을 달성한다.
• 이론적 분석을 통해 방법이 타겟 도메인의 기대 리스크 상한 최적화를 수행함을 보여주어 설계의 타당성을 입증한다.
• 학습된 원형 분포의 사용은 소스 데이터에 접근할 수 없을 때에도 효과적인 지식 전이를 가능하게 한다.
• 순차적 적응 프레임워크는 소스 학습 데이터에 접근할 필요 없이 도메인 이동을 성공적으로 완화한다.
• 광범위한 실험을 통해 방법의 강인성과 효과성이 여러 벤치마크 데이터셋에서 입증된다.
• 방법은 실생활 순차적 도메인 적응 시나리오에서 강력한 일반화 능력을 보여준다.