[논문 리뷰] Invariant Models for Causal Transfer Learning

Mateo Rojas-Carulla, Bernhard Schölkopf외 2명|arXiv (Cornell University)|2015. 07. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 163

한 줄 요약

이 논문은 타겟에 대한 조건부 분포가 도메인 간에 일정한 예측 변수의 부분집합을 식별하여 전이 학습을 위한 불변 인과 모델을 제안한다. 이 불변성을 활용하여, 적대적 조건 하에서 도메인 일반화 성능을 최적화하고, 과제가 다양할 경우 데이터 풀링보다 뛰어난 성능을 달성한다. 또한 자동 부분집합 추론을 위한 실용적 알고리즘과 합성 데이터 및 유전자 삭제 데이터에 대한 실증 검증을 제공한다.

ABSTRACT

Methods of transfer learning try to combine knowledge from several related tasks (or domains) to improve performance on a test task. Inspired by causal methodology, we relax the usual covariate shift assumption and assume that it holds true for a subset of predictor variables: the conditional distribution of the target variable given this subset of predictors is invariant over all tasks. We show how this assumption can be motivated from ideas in the field of causality. We focus on the problem of Domain Generalization, in which no examples from the test task are observed. We prove that in an adversarial setting using this subset for prediction is optimal in Domain Generalization; we further provide examples, in which the tasks are sufficiently diverse and the estimator therefore outperforms pooling the data, even on average. If examples from the test task are available, we also provide a method to transfer knowledge from the training tasks and exploit all available features for prediction. However, we provide no guarantees for this method. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

연구 동기 및 목표

• 학습 중에 테스트 데이터가 가용하지 않은 전이 학습에서 도메인 일반화 문제를 해결하기 위해.
• 표준 공변수 이동 가정을 완화하기 위해 예측 변수의 부분집합에서만 불변성을 가정하기 위해.
• 자동으로 불변 예측 변수 부분집합을 식별하고 일반화 성능을 향상시키는 방법을 개발하기 위해.
• 적대적 도메인 일반화 설정에서 불변 예측 변수를 사용한 최적 예측에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 이 방법은 타겟에 대한 예측 변수 부분집합의 조건부 분포가 모든 도메인 간에 불변하다고 가정하며, 이는 인과적 구조 방정식에 기반한다.
• 오직 불변 예측 변수만을 사용할 경우, 적대적 조건 하에서 도메인 일반화에 최적의 예측 성능을 달성할 수 있음을 증명한다.
• 회귀와 불변성 검증을 조합하여 불변 예측 변수 부분집합을 추론하는 실용적 알고리즘을 도입한다.
• 이 방법은 이중 단계 접근 방식을 사용한다: 먼저 불변 집합을 식별하고, 그 다음 해당 특징으로 모델을 훈련하여 예측을 수행한다.
• 테스트 데이터가 가용한 경우, 모든 특징을 조합하는 전이 방법을 제안하지만, 이에 대한 이론적 보장은 제공하지 않는다.
• 합성 데이터 및 유전자 삭제 데이터 세트를 대상으로 실험을 통해 방법을 검증하였으며, 코드는 공개되어 있다.

실험 결과

연구 질문

• RQ1 타겟에 대한 조건부 분포가 다양한 도메인 간에 일정한 예측 변수의 부분집합을 식별할 수 있는가?
• RQ2 오직 불변 예측 변수만을 사용할 경우, 적대적 분포 이동 조건 하에서 도메인 일반화 성능이 최적화되는가?
• RQ3 사전 지식 없이도 자동으로 불변 예측 변수 부분집합을 추론할 수 있는가?
• RQ4 일반화 성능 측면에서 제안된 방법은 단순한 데이터 풀링 방법보다 어떻게 비교되는가?
• RQ5 과제의 다양성이 표준 전이 학습 방법 대비 불변 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 불변 예측 변수 부분집합은 적대적 분포 이동 조건 하에서 도메인 일반화 성능을 최적화한다.
• 과제가 충분히 다양할 경우, 풀링 방법에 대한 보장이 없음에도 불구하고, 평균적으로 데이터 풀링보다 성능이 뛰어나다.
• 이론적 분석을 통해 불변 예측 변수에 조건부한 타겟의 조건부 분포가 모든 도메인에서 동일하다는 것을 밝혔다.
• 합성 데이터에 대한 실증 결과는 다양한 설정 하에서 방법이 올바르게 불변 집합을 식별함을 보여준다.
• 유전자 삭제 데이터 세트에서, 표준 전이 학습 기반 모델 대비 향상된 일반화 성능을 달성한다.
• 합성 실험에서 불변 집합의 자동 추론을 위한 제안된 알고리즘이 진짜 부분집합을 성공적으로 복원한다.