[논문 리뷰] A Causal Perspective on Domain Adaptation

Mateo Rojas-Carulla, Bernhard Schölkopf외 2명|arXiv (Cornell University)|2015. 07. 19.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 테스트 데이터가 없을 경우에도 안정적인 일반화를 가능하게 하기 위해 도메인 간으로 조건부 분포가 유지되는 불변 예측자 부분집합을 식별하는 인과적 접근법을 제안한다. 이는 불변 특징만을 사용할 경우 적대적 환경에서 최적임을 입증하고, 도메인이 다양할 경우 데이터 풀링보다 성능이 뛰어나며, 부분집합 추론을 위한 실용적인 방법과 오픈소스 코드를 함께 제공한다.

ABSTRACT

Methods of transfer learning try to combine knowledge from several related tasks (or domains) to improve performance on a test task. Inspired by causal methodology, we relax the usual covariate shift assumption and assume that it holds true for a subset of predictor variables: the conditional distribution of the target variable given this subset of predictors is invariant over all tasks. We show how this assumption can be motivated from ideas in the field of causality. We focus on the problem of Domain Generalization, in which no examples from the test task are observed. We prove that in an adversarial setting using this subset for prediction is optimal in Domain Generalization; we further provide examples, in which the tasks are sufficiently diverse and the estimator therefore outperforms pooling the data, even on average. If examples from the test task are available, we also provide a method to transfer knowledge from the training tasks and exploit all available features for prediction. However, we provide no guarantees for this method. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

연구 동기 및 목표

• 테스트 데이터가 없을 경우 도메인 간으로 동일한 예측자 부분집합을 식별하여 도메인 일반화 문제를 해결한다.
• 표준적인 공변량 이동 가정을 완화하기 위해 예측자의 부분집합에 대해서만 불변성을 가정한다.
• 인과 추론 원리를 사용하여 제안된 방법에 대한 이론적 근거를 제공한다.
• 자동으로 불변 예측자 부분집합을 식별하기 위한 실용적인 알고리즘을 개발한다.
• 합성 데이터와 실제 유전자 삭제 데이터를 대상으로 성능을 평가하여, 풀링 전략보다 향상된 일반화 성능을 보여준다.

제안 방법

• 이 방법은 목표 변수의 조건부 분포가 일부 예측자에 대해 모든 도메인 간에 불변하다는 가정을 하며, 이는 인과적 구조적 가정에 기반한다.
• 도메인 간 최악의 리스크를 최소화하도록 불변 예측자 부분집합을 선택하는 최적화 문제로 도메인 일반화를 공식화한다.
• 적대적 훈련을 사용하여 불변성을 강제함으로써 예측기가 분포 이동에 대해 강건해지도록 한다.
• 불변성 제약의 미분 가능 근사화를 사용하여 실용적인 알고리즘을 도입하여 자동으로 불변 부분집합을 추론한다.
• 테스트 데이터가 가용할 경우, 훈련 태스크에서 지식을 전이하고 모든 특징을 사용하여 예측을 수행하지만, 이론적 보장은 제공하지 않는다.
• 논문에서 제안된 방법은 구현되어 오픈소스로 배포되어 있으며, 합성 및 생물학적 데이터셋에서의 재현성과 평가에 용이하다.

실험 결과

연구 질문

• RQ1 인과적 프레임워크를 통해 도메인 간으로 유지되는 예측자 부분집합을 식별함으로써 도메인 일반화를 향상시킬 수 있는가?
• RQ2 적대적 도메인 일반화 환경에서 불변 부분집합만을 사용하는 것이 최적의 성능을 달성하는가?
• RQ3 도메인이 충분히 다양할 경우 제안된 방법이 단순한 데이터 풀링보다 우수한가?
• RQ4 실제 데이터에서 불변 예측자 부분집합을 자동으로 식별할 수 있는가?
• RQ5 테스트 데이터가 가용할 경우 모든 특징을 사용하여 예측을 수행할 때 성능 향상은 얼마나 되는가?

주요 결과

• 제안된 방법은 불변 예측자 부분집합에만 의존함으로써 적대적 도메인 일반화에서 최적의 성능을 달성한다.
• 다양한 도메인 환경에서는 풀링이 일반적으로 최적이라고 여겨지지만, 평균적으로 이 방법이 풀링을 능가한다.
• 합성 데이터셋에서 자동 추론 방법이 정확한 불변 예측자 부분집합을 성공적으로 식별하였다.
• 유전자 삭제 데이터셋에서, 기존의 도메인 일반화 기준 모델보다 향상된 일반화 성능을 보였다.
• 테스트 데이터가 가용할 경우 모든 특징을 활용함으로써 강력한 성능을 달성하였지만, 이론적 보장은 제공하지 않는다.
• 오픈소스 구현은 재현성과 다양한 벤치마크 환경에서의 실용적 적용을 가능하게 한다.