[논문 리뷰] Causal Transfer in Machine Learning

Mateo Rojas-Carulla, Bernhard Schölkopf외 2명|arXiv (Cornell University)|2015. 07. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 16

한 줄 요약

이 논문은 기계학습에서 계량적 전이 방법을 제안하며, 타깃에 대한 조건부 분포가 도메인 간에 일정한 예측 변수의 부분집합을 식별함으로써 공변량 이동 하에서 최적의 예측을 가능하게 한다. 이는 자동 부분집합 추론을 위한 실용적인 알고리즘을 도입하였으며, 시뮬레이션 데이터와 유전자 삭제 데이터에서 검증되어 제로샷 테스트 환경에서 일반화 성능이 향상됨을 보였다.

ABSTRACT

Methods of domain adaptation try to combine knowledge from several related domains (or tasks) to improve performance on a test domain. Inspired by causal methodology, we assume that the covariate shift assumption holds true for a subset of predictor variables: the conditional of the target variable given this subset of predictors is invariant over all tasks. We prove that in an adversarial setting using this subset for prediction is optimal if no examples from the test task are observed. For a specific scenario, in which tasks are drawn from a meta distribution, further optimality results are available. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

연구 동기 및 목표

• 테스트 도메인 예제가 없는 상황에서 공변량 이동 문제를 해결하기 위해 타깃에 대한 조건부 분포가 모든 도메인 간에 일정한 예측 변수의 부분집합을 식별하는 것.
• 이 불변 부분집합이 적대적 및 메타학습 설정에서 최적의 예측을 가능하게 하는 조건을 체계화하는 것.
• 테스트 도메인 예제가 필요 없이 불변 예측 변수 부분집합을 자동으로 탐지할 수 있는 실용적인 방법을 개발하는 것.
• 시뮬레이션 데이터와 실제 생물학적 데이터에서 방법을 검증하여 공변량 이동 하에서 일반화 성능 향상을 입증하는 것.

제안 방법

• 이 방법은 일부 예측 변수가 불변성 가정을 만족한다고 가정한다: 이들 예측 변수에 대한 타깃의 조건부 분포가 모든 작업 간에 일정하다.
• 이 문제를 계량적 프레임워크를 활용하여 이 불변 부분집합을 식별하는 것으로 설정하며, 테스트 데이터가 없을 경우 불변 예측 변수만을 사용해야 한다는 점을 활용한다.
• 작업에 대한 메타분포를 도입하여 특정 조건 하에서 불변 부분집합의 이론적 최적성 보장을 도출한다.
• 불변성에 대한 미분 가능 대체 측정을 사용하여 최적화를 통해 불변 부분집합을 학습하는 실용적인 알고리즘을 제안한다.
• 코드와 함께 구현 및 배포되어 유전자 삭제 실험과 같은 실제 데이터셋에 적용 가능하다.

실험 결과

연구 질문

• RQ1 불변 예측 변수 부분집합이 도메인 적응에서 최적의 예측을 위해 충분한 조건는 무엇인가?
• RQ2 계량적 프레임워크를 사용하여 도메인 간에 일정한 최소한의 예측 변수 집합을 식별할 수 있는가?
• RQ3 테스트 도메인 예제가 전혀 없는 제로샷 설정에서 제안된 방법의 성능은 어떠한가?
• RQ4 기본 도메인 적응 기법과 비교해 볼 때, 시뮬레이션 및 실제 데이터에서의 방법의 경험적 성능는 어떠한가?

주요 결과

• 테스트 도메인 예제가 없는 상황에서 불변 부분집합 예측 변수는 적대적 설정에서 최적의 예측 성능을 달성한다.
• 작업에 대한 메타분포 가정 하에서 이론적 최적성이 확립되었으며, 불변 부분집합이 기대 위험을 최소화함을 보였다.
• 시뮬레이션 데이터에서 제안된 방법은 제로샷 예측에서 높은 정확도를 달성하며 불변 예측 변수 부분집합을 성공적으로 식별하였다.
• 유전자 삭제 데이터셋에서, 인과적 불변성을 활용하여 일반화 성능 향상을 이룬 바, 표준 도메인 적응 기반선을 능가하였다.