[논문 리뷰] Domain Adaptation by Using Causal Inference to Predict Invariant Conditional Distributions

Sara Magliacane, Thijs van Ommen외 4명|arXiv (Cornell University)|2017. 07. 20.

Domain Adaptation and Few-Shot Learning인용 수 91

한 줄 요약

본 논문은 Joint Causal Inference를 사용하여 분리 특징 집합을 선택하고 Y가 원천 도메인과 대상 도메인 간에 불변하도록 하여 알려진 인과 그래프가 없어도 전이가 가능하도록 하는 인과 도메인 적응 방법을 제안한다.

ABSTRACT

An important goal common to domain adaptation and causal inference is to make accurate predictions when the distributions for the source (or training) domain(s) and target (or test) domain(s) differ. In many cases, these different distributions can be modeled as different contexts of a single underlying system, in which each distribution corresponds to a different perturbation of the system, or in causal terms, an intervention. We focus on a class of such causal domain adaptation problems, where data for one or more source domains are given, and the task is to predict the distribution of a certain target variable from measurements of other variables in one or more target domains. We propose an approach for solving these problems that exploits causal inference and does not rely on prior knowledge of the causal graph, the type of interventions or the intervention targets. We demonstrate our approach by evaluating a possible implementation on simulated and real world data.

연구 동기 및 목표

• 개입이나 맥락으로 인해 소스와 타깃 분포가 달라지는 도메인 적응의 필요성을 제시한다.
• 인과 그래프의 전체 지식이나 개입 대상에 대한 전부를 필요로 하지 않는 방법을 개발한다.
• 도메인 간에 Y가 A에 조건화될 때 불변인 분리 특성 집합 A를 식별한다.
• 잠재 교란을 다루는 개념 증명 구현을 제공한다.
• 합성 데이터와 마우스 유전학의 실제 혈액학 데이터에 대한 평가를 수행한다.

제안 방법

• 시스템 변수와 맥락 변수를 포함하는 구조적 인과 모델(Structural Causal Model)로 데이터를 모델링한다.
• 도메인 시프트를 Joint Causal Inference (JCI)에서 맥락 변수로 표현된 개입으로 공식화한다.
• 인과 그래프에서 C1(도메인)이 Y와 조건부 독립임을 만족하는 분리 집합 A를 정의한다.
• 조건부 독립성 및 자동 정리 증명기를 통해 A를 테스트하고 자동 인과 추론기를 활용하는 인과 발견/발견 보조 접근법을 사용한다.
• Random Forest를 사용하여 원천 도메인 위험도에 따라 특성 부분집합의 순위를 매기고 C1 ⟂ Y | A를 만족하는 A를 탐색한다.
• A가 분리될 때 공변량 이동을 처리하는 방법으로 A로부터 Y를 예측한다.

실험 결과

연구 질문

• RQ1 연결된 시스템에서 C1이 A를 주면 Y와 독립임을 만족하는 변수 부분집합 A를 식별하여 도메인 간 Y|A의 불변성을 보장할 수 있는가?
• RQ2 전체 인과 그래프 지식 없이 분리 집합을 발견하기 위해 Joint Causal Inference를 어떻게 활용할 수 있는가?
• RQ3 비분리 특성 집합을 사용할 때 전달 편향 및 불완전 정보 편향의 영향은 무엇인가?
• RQ4 제안된 방법이 잠재 교란 변수와 다양한 개입 유형을 도메인 적응에서 처리할 수 있는가?
• RQ5 합성 데이터와 실제 생물학 데이터에서 이 접근법의 성능은 어떠한가?

주요 결과

• 프레임워크 하에서 분리 집합 A가 존재하여 원천 및 대상 도메인 간에 Y|A의 불변성을 가능하게 한다.
• A를 사용하면 전달 편향이 감소하고 A가 분리 조건을 만족할 때 대상 도메인 위험에 대해 점근적 보장을 제공한다.
• 실용적 알고리즘은 특징 순위 매기기와 인과 추론 증명기를 결합하여 분리 집합을 식별한다.
• 분리 집합이 발견되지 않으면 예측을 중단하여 임의로 나쁜 전이를 피한다.
• 합성 데이터와 IMPC 마우스 유전 데이터에서 접근법을 평가하고 표준 특징 선택 기준선과 비교한다.
• 재현성을 위한 구현이 온라인으로 제공된다 (caus-am/dom_adapt).