[논문 리뷰] Blind Domain Adaptation: An RKHS Approach.

Christoph H. Lampert|arXiv (Cornell University)|2014. 06. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 2

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 임bedding과 벡터-값 함수 회귀를 사용하여 데이터 분포의 시간적 변화를 모델링함으로써, 타겟 데이터가 전혀 없는 조건에서도 분류기를 학습하는 빔 도메인 적응 방법을 제안한다. 다수의 과거 시점에서의 분포 역학을 외삽함으로써 타겟 분포를 추정하고, 효과적인 분류 또는 합성 데이터 생성을 가능하게 하며, 합성 데이터와 실제 데이터에서 뛰어난 성능을 보여준다.

ABSTRACT

We study the problem of domain adaptation: our goal is to learn a classifier, but the data distribution at training time (source) differs from the data distribution at prediction time (target). In contrast to existing work, we do not assume any samples from the target distribution to be available already at training time, not even unlabeled ones. Instead, we assume that the distribution mismatch is due to an underlying time-evolution of the data distribution, and that we have access to sample sets from more than one earlier time steps. Our main contribution is a method for learning an operator that can extrapolate the dynamics of the data distribution. For this we rely on two recent techniques: the embedding of probability distributions into a reproducing kernel Hilbert space, and vector-valued regression. By extrapolating the learned dynamics into the fu-ture, we obtain an estimate of the target distribution, based on which we can either directly learn a classifier for the target situation, or create a new sample set. Ex-periments on synthetics and real data show the effectiveness of our approach. 1

연구 동기 및 목표

• 학습 중에 타겟 데이터(라벨이 있든 없든)를 확보할 수 없는 상황에서 분류 문제의 도메인 이동 문제를 해결한다.
• 시간에 따라 변화하는 데이터 분포의 특성을 모델링하여 향후 분포 이동을 예측한다.
• 다수의 과거 시점에서의 분포 역학을 외삽하여 타겟 분포를 추정하는 방법을 개발한다.
• 이전 시점의 소스 데이터만을 사용하여 타겟 도메인에서 효과적인 분류 또는 합성 데이터 생성을 가능하게 한다.
• 학습 중에 타겟 샘플에 접근이 필요한 기존 도메인 적응 방법의 한계를 극복한다.

제안 방법

• 커널 평균 임베딩을 사용하여 다수의 과거 시점에서의 확률 분포를 재생 커널 힐버트 공간(RKHS)에 임베딩한다.
• 벡터-값 함수 회귀를 사용하여 이러한 분포 임베딩의 시간적 변화를 함수로 모델링한다.
• 과거 분포 임베딩를 미래 예측으로 매핑하는 시간에 의존하는 연산자를 학습하여, 타겟 시점으로의 외삽을 가능하게 한다.
• 외삽된 분포 추정치를 사용하여 직접 분류기를 훈련하거나 합성 타겟 샘플을 생성한다.
• RKHS의 구조를 활용하여 분포 간 차이를 유지하고 부드럽고 일반화 가능한 역학 모델링을 보장한다.
• 학습 중에 타겟 샘플이 관측되지 않더라도, 학습된 역학을 적용하여 타겟 분포를 예측한다.

실험 결과

연구 질문

• RQ1 학습 중에 타겟 데이터에 접근할 수 없는 상황에서 타겟 데이터 분포를 정확히 예측할 수 있는가?
• RQ2 커널 임베딩과 벡터-값 함수 회귀를 사용하여 시간에 따라 변화하는 분포 역학을 얼마나 잘 모델링할 수 있는가?
• RQ3 과거 시점에서의 분포 이동을 외삽함으로써 분류 성능이 얼마나 향상되는가?
• RQ4 추정된 타겟 분포를 사용하여 일반화 성능을 향상시키는 합성 데이터를 생성할 수 있는가?
• RQ5 엄격한 빔 설정 하에서 제안된 방법은 기존 도메인 적응 기법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 타겟 데이터에 접근할 수 없는 상황에서도 합성 및 실제 데이터셋에서 경쟁적인 분류 성능을 달성한다.
• RKHS 임베딩과 벡터-값 함수 회귀를 통한 분포 역학 외삽이 타겟 분포의 정확한 추정을 가능하게 한다.
• 타겟 데이터가 필요한 기존의 기준 기법보다 성능이 뛰어나, 진정으로 빔 설정에서의 효과성을 입증한다.
• 추정된 타겟 분포에서 생성된 합성 데이터는 미관측 타겟 데이터에서 분류기의 일반화 성능을 향상시킨다.
• 시간에 따라 변화하는 데이터로 인한 분포 이동에 대해 강건하며, 다양한 데이터 분포에서 일관된 성능을 보인다.
• RKHS 임베딩의 사용으로 시간에 따른 분포 변화의 안정적이고 의미 있는 표현이 보장된다.