[논문 리뷰] Causal Inference using Gaussian Processes with Structured Latent Confounders

Sam Witty, Kenta Takatsu외 2명|arXiv (Cornell University)|2020. 07. 14.

Advanced Causal Inference Techniques인용 수 13

한 줄 요약

이 논문은 계층적 데이터에서 원인적 효과 추정을 향상시키기 위해 가우시안 프로세스 사전분포를 사용하여 개체 수준의 잠재 공변인자를 모델링하는 베이지안 비모수 방법인 구조적 잠재 공변인자를 가진 가우시안 프로세스(GP-SLC)를 제안한다. 동일한 개체 내 인스턴스들 간에 공유되는 공변인자를 활용함으로써 GP-SLC는 특히 관측되지 않은 이질성이 존재하는 희소 관측 설정에서 표준 방법보다 더 정확한 개별 치료 효과 추정을 달성한다.

ABSTRACT

Latent confounders---unobserved variables that influence both treatment and outcome---can bias estimates of causal effects. In some cases, these confounders are shared across observations, e.g. all students taking a course are influenced by the course's difficulty in addition to any educational interventions they receive individually. This paper shows how to semiparametrically model latent confounders that have this structure and thereby improve estimates of causal effects. The key innovations are a hierarchical Bayesian model, Gaussian processes with structured latent confounders (GP-SLC), and a Monte Carlo inference algorithm for this model based on elliptical slice sampling. GP-SLC provides principled Bayesian uncertainty estimates of individual treatment effect with minimal assumptions about the functional forms relating confounders, covariates, treatment, and outcome. Finally, this paper shows GP-SLC is competitive with or more accurate than widely used causal inference techniques on three benchmark datasets, including the Infant Health and Development Program and a dataset showing the effect of changing temperatures on state-wide energy consumption across New England.

연구 동기 및 목표

• 동일한 개체 내 다수의 인스턴스에 영향을 주는 관측되지 않은 공변인이 원인적 추론에 미치는 편향을 해결하기 위해.
• 공변인자, 공변수, 치료, 결과 간의 기능 형태에 대한 가정을 최소화하는 탄력적이고 반모수적 베이지안 접근법을 개발하기 위해.
• 가우시안 프로세스를 사용하여 구조적 잠재 공변인자를 모델링함으로써 개인 치료 효과 추정을 향상시키고, 원칙적인 불확실성 정량화를 가능하게 하기 위해.
• 실제 공변인 구조를 가진 벤치마크 데이터셋에서 GP-SLC가 널리 사용되는 원인적 추론 기법들을 능가함을 입증하기 위해.
• 불확실성 인식 기반의 반대로 예측을 지원하는 탄력적인 추론 프레임워크를 제공하기 위해.

제안 방법

• GP-SLC는 개체 수준의 잠재 공변인자(u)가 인스턴스 수준의 공변수(x), 치료(t), 결과(y)에 영향을 주는 계층적 구조적 인과관계 모델을 사용한다.
• 공변인자와 공변수에서 치료 및 결과로의 함수에 대해 가우시안 프로세스 사전분포를 적용함으로써 복잡하고 알려지지 않은 관계를 비모수적으로 모델링할 수 있다.
• 결과는 공변인자, 공변수, 치료를 조건으로 하여 조건부로 독립이며, 가우시안 노이즈를 추가로 포함한다.
• 유한한 사후 추론을 가능하게 하기 위해 타원형 샘플링 기반의 몬테카를로 추론 알고리즘을 사용하여 잠재 공변인자와 모델 초모수를 동시에 추론한다.
• 결과 커널 공분산 행렬은 치료, 공변수, 추론된 공변인자를 사용하여 구성되며, 사실적 결과와 반대로 결과 간의 의존성을 포착한다.
• 이 방법은 반대로 결과 간 공분산을 자연스럽게 고려하고, 개인 치료 효과 추정의 불확실성 정량화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 동일한 개체 내 여러 인스턴스에 공유되는 구조적 잠재 공변인자를 모델링하는 것이 관측 데이터에서 개인 치료 효과 추정의 정확도를 향상시킬 수 있는가?
• RQ2 관측되지 않은 공변인이 존재하지만 그룹 간 구조적으로 분포할 경우 GP-SLC는 표준 원인적 추론 방법보다 어떻게 성능을 발휘하는가?
• RQ3 잠재 공변인자의 계층적 구조가 모든 인스턴스에 대해 무관심성 가정을 가진 모델에 비해 원인적 추정의 편향을 얼마나 줄이는가?
• RQ4 자료가 희소하거나 노이즈가 많을 경우 GP-SLC는 반대로 결과의 불확실성을 얼마나 잘 정량화하는가?
• RQ5 GP-SLC는 연속형 및 이진형 치료를 효과적으로 모델링할 수 있으며, 약한 비모수적 가정 하에서도 유연성과 강건성을 유지할 수 있는가?

주요 결과

• GP-SLC는 인프런트 헬스 앤 데벨로PMENT 프로그램 및 뉴잉글랜드 에너지 소비 데이터셋을 포함한 세 가지 벤치마크 데이터셋에서 널리 사용되는 원인적 추론 기법들을 능가했다.
• 인프런트 헬스 앤 데벨로PMENT 프로그램 데이터셋에서 GP-SLC는 경쟁 기법들보다 개인 치료 효과 추정의 평균 제곱오차가 낮아 더 높은 정확도를 보였다.
• 에너지 소비 데이터셋에서 GP-SLC는 지역 경제 및 기후 요인에 의한 공변인자가 존재할 경우 온도 변화가 주 전역 전기 사용에 미치는 원인적 효과를 더 정확하게 추정했다.
• 개별 치료 효과에 대해 원칙적인 베이지안 불확실성 추정치를 생성하였으며, 데이터가 적거나 공변인이 더 강한 지역 또는 개인에서는 더 높은 불확실성을 보였다.
• 타원형 샘플링의 사용은 잠재 공변인자와 초모수에 대한 효율적인 사후 추론을 가능하게 하여 고차원 설정에서 스케일러블하고 강건한 추정을 지원했다.
• 공유된 공변인자를 통해 사실적 결과와 반대로 결과 간의 공분산을 포착함으로써 GP-SLC는 치료와 공변수가 인스턴스 간 유사한 경우에도 개선된 반대로 예측 성능을 보였다.