[논문 리뷰] Multi-task Causal Learning with Gaussian Processes

Virginia Aglietti, Theodoros Damoulas외 2명|arXiv (Cornell University)|2020. 09. 27.

Gaussian Processes and Bayesian Inference참고 문헌 2인용 수 4

한 줄 요약

이 논문은 구조적 인과 모델에서 다중 간섭에 걸쳐 간섭 분포를 추정하기 위해 가우시안 프로세스를 사용하는 다중 작업 인과 추론 프레임워크를 제안한다. 도-계산법과 조건부 독립성을 활용하여, 공유되는 잠재 구조를 통해 효율적이고 통합된 간섭 효과 학습이 가능한 통합 인과 연산자를 유도함으로써, 기준 모델 대비 추정 정확도를 크게 향상시킨다.

ABSTRACT

This paper studies the problem of learning the correlation structure of a set of intervention functions defined on the directed acyclic graph (DAG) of a causal model. This is useful when we are interested in jointly learning the causal effects of interventions on different subsets of variables in a DAG, which is common in field such as healthcare or operations research. We propose the first multi-task causal Gaussian process (GP) model, which we call DAG-GP, that allows for information sharing across continuous interventions and across experiments on different variables. DAG-GP accommodates different assumptions in terms of data availability and captures the correlation between functions lying in input spaces of different dimensionality via a well-defined integral operator. We give theoretical results detailing when and how the DAG-GP model can be formulated depending on the DAG. We test both the quality of its predictions and its calibrated uncertainties. Compared to single-task models, DAG-GP achieves the best fitting performance in a variety of real and synthetic settings. In addition, it helps to select optimal interventions faster than competing approaches when used within sequential decision making frameworks, like active learning or Bayesian optimization.

연구 동기 및 목표

• 다양한 간섭에 걸쳐 간섭 효과를 동시에 추정할 수 있는 통합 프레임워크를 개발하는 것.
• 복잡한 비선형 관계를 모델링하면서도 구조적 일관성을 유지하기 위해 가우시안 프로세스를 활용하는 것.
• 다중 간섭 하에서 간섭 분포를 정확하게 계산할 수 있도록 도-계산법을 활용해 통합 인과 연산자를 도출하는 것.
• 공유되는 잠재 구조를 통해 관련된 간섭 간 정보를 공유하여 추정 정확도와 샘플 효율성을 향상시키는 것.

제안 방법

• 도-계산법에서 유도된 인과 연산자를 사용하여 간섭 분포를 반사 변수와 잠재 혼란 변수에 대한 적분으로 표현한다.
• 간섭 함수 $ t_s(\mathbf{x}) = \mathbb{E}[Y \mid \text{do}(\mathbf{X}_s = \mathbf{x})] $ 는 집합 $ \mathbf{I} $ 과 $ \mathbf{C}^N $ 에 대한 도-간섭에 대한 계층적 적분으로 모델링되며, 조건부 독립 가정이 적용된다.
• 간섭 함수에 대해 가우시안 프로세스 사전분포를 적용하여 복잡한 인과 효과를 비모수적이고도 민감하게 모델링할 수 있다.
• 집합 $ \mathbf{C} $ 에 대해 최소성 조건을 도입하여, 간섭 연산자에 포함되는 데 필요한 요로만 포함되도록 보장한다.
• 관측되지 않은 혼란 변수 $ \mathbf{v}^N_s $ 와 $ \mathbf{c}^N_s $ 를 통합하며, 조건부 독립성을 활용하여 간섭 하의 기대값을 단순화한다.
• 인과 연산자는 $ \int f(\mathbf{v}, \mathbf{c}) p(\mathbf{c}^{I}_s|\mathbf{c}^{N}_s) p(\mathbf{v}^N_s, \mathbf{c}^N_s | \text{do}(\mathbf{X}_s = \mathbf{x})) d\mathbf{v}^N_s d\mathbf{c} $ 로 표현되어 스케일러블한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구조적 인과 모델에서 다중 간섭에 걸쳐 간섭 분포를 정확하게 추정할 수 있는 다중 작업 가우시안 프로세스 프레임워크는 가능한가?
• RQ2 도-계산법을 체계적으로 적용하여 다중 간섭 추정을 위한 통합 인과 연산자를 도출할 수 있는가?
• RQ3 다중 간섭 하에서 간섭 분포의 식별 가능성을 보장하는 최소한의 혼란 변수 집합 $ \mathbf{C} $ 는 무엇인가?
• RQ4 간섭 간에 잠재 구조를 공유할 경우 추정 정확도와 샘플 효율성이 어떻게 향상되는가?

주요 결과

• 제안된 방법, $ \textsc{dag-gp}^+ $ 는 모든 합성 DAG에서 평균적으로 가장 낮은 RMSE를 기록하였으며, $ N = 500 $ 일 때 $ \textsc{dag}1 $ 에서는 RMSE 0.48, $ \textsc{dag}3 $ 에서는 0.50, $ \textsc{dag}4 $ 에서는 0.09를 기록하였다.
• 표준 GP 및 도-계산법 기반 기준 모델 대비 유의미하게 뛰어난 성능을 보였으며, $ \textsc{dag}1 $ 과 $ \textsc{dag}3 $ 에서는 RMSE 가 20-30% 감소했고, $ \textsc{dag}4 $ 에서는 50% 감소하였다.
• 집합 $ \mathbf{C} $ 의 최소성은 증명되었으며, $ \text{Pa}(Y) $ 는 식별 가능성 조건을 만족하는 가장 작은 집합이므로 여분의 혼란 변수가 포함되지 않음을 보장한다.
• 이론적 유도 결과로 인과 연산자가 도-계산법 규칙에 대해 불변임을 확인하여 간섭 추정의 정확성을 보장한다.
• 합성 및 헬스케어 응용 분야에서 복잡한 비선형 간섭 분포를 성공적으로 처리하였으며, 반복 실험에서 안정적인 수렴과 낮은 분산을 보였다.