[논문 리뷰] Deep End-to-end Causal Inference

Tomas Geffner, Javier Antorán외 10명|arXiv (Cornell University)|2022. 02. 04.

Advanced Causal Inference Techniques인용 수 16

한 줄 요약

DECI는 관찰 데이터를 사용하여 인과적 발견과 치료 효과 추정을 동시에 수행하는 딥러닝 기반의 엔드 투 엔드 인과 추론 프레임워크이다. 유사한 비선형 가중치 모델과 인과 그래프에 대한 변분 추론을 사용하여 다양한 합성 및 기준 데이터셋에서 인과 그래프 복원과 조건부 평균 치료 효과(CATE) 추정 모두에서 최신 기술 수준의 성능을 달성하며, 결측치 및 혼합 변수 유형에 대해 강건하고 확장성이 뛰어나다.

ABSTRACT

Causal inference is essential for data-driven decision making across domains such as business engagement, medical treatment and policy making. However, research on causal discovery has evolved separately from inference methods, preventing straight-forward combination of methods from both fields. In this work, we develop Deep End-to-end Causal Inference (DECI), a single flow-based non-linear additive noise model that takes in observational data and can perform both causal discovery and inference, including conditional average treatment effect (CATE) estimation. We provide a theoretical guarantee that DECI can recover the ground truth causal graph under standard causal discovery assumptions. Motivated by application impact, we extend this model to heterogeneous, mixed-type data with missing values, allowing for both continuous and discrete treatment decisions. Our results show the competitive performance of DECI when compared to relevant baselines for both causal discovery and (C)ATE estimation in over a thousand experiments on both synthetic datasets and causal machine learning benchmarks across data-types and levels of missingness.

연구 동기 및 목표

• 인과적 발견과 인과 추론 사이의 격차를 해소하기 위해 두 작업을 하나의 엔드 투 엔드 프레임워크로 통합하는 것.
• 기본 인과 가정 하에 진정한 인과 그래프를 복원하고 치료 효과를 추정할 수 있는 딥러닝 모델을 개발하는 것.
• 실세계의 복잡성을 다룰 수 있도록 혼합형 변수 및 결측치를 처리할 수 있도록 프레임워크를 확장하는 것.
• 모델 사양이 올바를 조건 하에서 인과 그래프 복원에 대한 이론적 보장을 제공하는 것.
• 합성 및 실세계 기준 데이터셋에서 최신 기술 대비 DECI의 성능을 실증적으로 평가하는 것.

제안 방법

• DECI는 연속적이고 비정규 분포의 잡음이 포함된 비선형 가중치 모델을 모델링하기 위해 유연한 비선형 순차적 신경망을 사용한다.
• 변분 추론을 적용하여 인과 그래프에 대한 사후 분포를 학습함으로써 관찰 데이터 기반의 엔드 투 엔드 훈련을 가능하게 한다.
• 적절한 분포 모델링을 통해 혼합형(연속형 및 범주형) 변수를 포함하여 이질적인 데이터를 지원한다.
• 플로우 모델 내에서 가능도 기반 접근 방식을 사용하여 결측치 보정을 프레임워크에 통합한다.
• 학습된 SEM에 대해 do-계산법을 적용하여 CATE와 같은 인과적 양을 추정함으로써 시뮬레이션 기반 추론을 가능하게 한다.
• 성능 향상을 위해 가중치가 부여된 인접 행렬을 통해 그래프 사전 지식을 통합한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 관찰 데이터로부터 인과적 발견과 치료 효과 추정을 동시에 수행할 수 있는가?
• RQ2 표준 가정 하에서 DECI가 진정한 인과 그래프를 이론적으로 일관성 있게 복원하는가?
• RQ3 합성 및 실세계 기준 데이터셋에서 DECI가 별도의 인과적 발견 및 추론 파ipeline에 비해 어떻게 성능을 내는가?
• RQ4 비정규화 또는 모호한 설정에서 그래프 사전 지식이 인과적 발견 및 추론에 얼마나 기여하는가?
• RQ5 그래프 크기와 결측치 비율 증가에 따라 DECI의 확장성은 어떻게 되는가?

주요 결과

• DECI는 합성 및 기준 데이터셋에서 1,000건 이상의 실험에서 인과적 발견에서 최신 기술 수준의 방법들과 경쟁하거나 뛰어난 성능을 보였다.
• 평가된 방법들 중에서 DECI는 가장 낮은 런타임을 기록했으며, 그래프 크기에 관계없이 거의 일정한 추론 시간을 유지하여 뛰어난 확장성을 입증했다.
• 비정규화 설정에서는 PC 기반 CP-DAG를 사전 지식으로 사용할 경우 인과 그래프 복원 성능이 크게 향상되었지만, 항상 ATE 추정 성능 향상으로 이어지진 않았다.
• 정규화 가능하지만 도전적인 설정에서는 PC와 DECI를 조합한 균형 임계값 0.5를 사용할 경우 가장 신뢰할 수 있는 발견 성능을 달성했으며, 사전 지식 강도가 0.2일 때도 정확한 ATE 추정이 가능했다.
• DECI는 혼합형 변수와 결측치를 효과적으로 처리하여 다양한 데이터 구성에서도 뛰어난 성능을 유지했다.
• 이론적 분석을 통해 DECI는 모델 사양이 올바를 조건 하에서 점차적으로 진정한 인과 그래프와 데이터 생성 과정을 복원함을 확인했다.