[논문 리뷰] Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features

Julius von Kügelgen, Alexander Mey외 1명|arXiv (Cornell University)|2018. 07. 20.

Neural Networks and Applications인용 수 13

한 줄 요약

이 논문은 반감성 모델 $P(Y,X_E|X_C,\theta)$를 제안하며, 원인 특징($X_C$)과 결과 특징($X_E$)을 모두 활용하여 반감성 학습에서 공변량 이동 보정을 향상시킨다. 비라벨링된 타겟 데이터를 사용해 원인에서 결과로의 직접적 맵핑을 모델링함으로써, 합성 및 실제 세계의 분류 및 회귀 과제에서 순수한 지도학습 및 중요도 가중 기반 보조 기준보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Current methods for covariate-shift adaptation use unlabelled data to compute importance weights or domain-invariant features, while the final model is trained on labelled data only. Here, we consider a particular case of covariate shift which allows us also to learn from unlabelled data, that is, combining adaptation with semi-supervised learning. Using ideas from causality, we argue that this requires learning with both causes, $X_C$, and effects, $X_E$, of a target variable, $Y$, and show how this setting leads to what we call a semi-generative model, $P(Y,X_E|X_C,θ)$. Our approach is robust to domain shifts in the distribution of causal features and leverages unlabelled data by learning a direct map from causes to effects. Experiments on synthetic data demonstrate significant improvements in classification over purely-supervised and importance-weighting baselines.

연구 동기 및 목표

• 타겟 도메인에서 라벨이 부족한 상황에서 공변량 이동 보정의 과제를 해결한다.
• 인과적 구조가 알려져 있을 때 공변량 이동 가정 하에 반감성 학습이 가능한지 탐구한다.
• 원인 및 결과 특징을 모두 활용해 타겟 도메인의 비라벨링 데이터를 공동으로 학습하는 방법을 개발한다.
• 기존 반감성 학습이 독립적이고 동일하게 분포된 데이터를 가정하는 한계를 인과적 구조를 통합함으로써 극복한다.
• 중요도 가중치와 결과 특징의 비지도 모델링을 융합한 도메인 적응을 위한 견고한 프레임워크를 제공한다.

제안 방법

• 원인 특징 $X_C$ 가 주어졌을 때 타겟 변수 $Y$ 와 결과 특징 $X_E$ 의 결합 분포를 모델링하는 반감성 모델 $P(Y,X_E|X_C,\theta)$를 제안한다.
• 비라벨링된 타겟 도메인 데이터를 사용해 $P(X_C, X_E|D=1)$ 를 추정하며, 이를 $P(X_C|D=1)P(X_E|X_C)$ 로 분해하여 비지도 구성요소를 정보화한다.
• 초기화된 하이퍼파ram터 $\lambda$ 를 통해 소스 데이터의 지도 학습 로그우도와 타겟 데이터의 비지도 학습 로그우도의 가중 조합을 최대화함으로써 모델을 훈련시킨다.
• 비지도 구성요소를 사용해 원인 $X_C$ 에서 결과 $X_E$ 로의 직접 맵핑을 학습함으로써, 공변량 이동 하에서의 일반화 성능 향상을 가능하게 한다.
• 분류 및 회귀 과제에 모두 적용되며, 각각에 맞게 특수화된 조정이 이루어지며, 특히 고분산 설정에서는 모델 파ram터를 제한한다.
• 중요도 가중치와의 융합을 위해 가중 풀링 로그우도 $\ell_{WP}^\lambda$ 를 구성함으로써 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 인과적 구조가 알려져 있을 때 공변량 이동 가정 하에 반감성 학습이 효과적일 수 있는가?
• RQ2 원인 및 결과 특징을 모두 학습함으로써 도메인 적응 환경에서 모델 일반화가 향상되는가?
• RQ3 결과 특징을 통한 비라벨링 타겟 데이터 포함 방식이 중요도 가중치 또는 순수 지도학습에 비해 어떻게 비교되는가?
• RQ4 특히 $Y$ 의 잠재 공간에서의 모델 유연성은 이 접근의 성공에 어떤 역할을 하는가?
• RQ5 이 방법은 어떤 상황에서 특징 변환 기반 도메인 적응 기법보다 뛰어난 성능을 보이는가?

주요 결과

• 합성 분류 데이터에서, 제안된 방법은 고도의 클래스 겹침 상황에서도 순수 지도학습 및 중요도 가중 기준보다 낮은 음의 로그우도와 오차율을 달성한다.
• 토이 LUCAS 데이터셋에서는 256개의 비라벨링 타겟 샘플과 16개의 소스 샘플을 사용할 때 테스트 오차를 0.188로 줄여 기준보다 뛰어난 성능을 보였다.
• 더 단순한 ${\cal D}_1$ 회귀 데이터셋에서는 라벨이 4개 뿐인 소스 샘플만 존재할 때도 가장 낮은 RMSE를 기록하여 강력한 소수 샘플 성능을 입증했다.
• 더 도전적인 ${\cal D}_2$ 데이터셋에서는 제한된 버전의 제안된 방법이 가장 낮은 RMSE를 기록했으며, 기준 및 특징 변환 방법을 모두 능가했다.
• 회귀 과제에서는 하이퍼파ram터 $\lambda$ 에 민감하며, 비라벨링 데이터에 대한 과도한 중시는 특히 $n_T$ 가 클 경우 과적합을 유도한다.
• 계산적으로 효율적이며, TCA와 같은 특징 변환 방법보다 런타임이 약 10배 빠르다.