[논문 리뷰] Validating Causal Inference Methods

Harsh Parikh, Carlos Varjao외 2명|arXiv (Cornell University)|2022. 02. 09.

Advanced Causal Inference Techniques인용 수 10

한 줄 요약

이 논문은 실질적인 관측 데이터와 구분할 수 없도록 합성 데이터를 생성하면서도 사용자가 지정한 진정한 치료 효과와 혼란 변수 편향을 허용하는 딥 생성 모델 기반 프레임워크인 Credence를 소개한다. 사용자가 정의한 데이터 생성 과정을 기반으로 시뮬레이션을 통해 인과 추론 방법의 정확한 벤치마킹을 가능하게 하며, 시뮬레이션 및 실세계 데이터셋 전반에서 오라클 수준의 추정기 순위 복원 성능이 뛰어나다.

ABSTRACT

The fundamental challenge of drawing causal inference is that counterfactual outcomes are not fully observed for any unit. Furthermore, in observational studies, treatment assignment is likely to be confounded. Many statistical methods have emerged for causal inference under unconfoundedness conditions given pre-treatment covariates, including propensity score-based methods, prognostic score-based methods, and doubly robust methods. Unfortunately for applied researchers, there is no `one-size-fits-all' causal method that can perform optimally universally. In practice, causal methods are primarily evaluated quantitatively on handcrafted simulated data. Such data-generative procedures can be of limited value because they are typically stylized models of reality. They are simplified for tractability and lack the complexities of real-world data. For applied researchers, it is critical to understand how well a method performs for the data at hand. Our work introduces a deep generative model-based framework, Credence, to validate causal inference methods. The framework's novelty stems from its ability to generate synthetic data anchored at the empirical distribution for the observed sample, and therefore virtually indistinguishable from the latter. The approach allows the user to specify ground truth for the form and magnitude of causal effects and confounding bias as functions of covariates. Thus simulated data sets are used to evaluate the potential performance of various causal estimation methods when applied to data similar to the observed sample. We demonstrate Credence's ability to accurately assess the relative performance of causal estimation techniques in an extensive simulation study and two real-world data applications from Lalonde and Project STAR studies.

연구 동기 및 목표

• 실세계 관측 연구에서 인과 추론 방법에 대한 신뢰할 수 있고 데이터에 특화된 평가 도구의 부족을 해결하기 위해.
• 기존의 시뮬레이션 데이터가 과도하게 단순화되어 있어 실제 데이터의 복잡성을 반영하지 못하는 한계를 극복하기 위해.
• 관측된 데이터와 거의 구분할 수 없도록 합성 데이터를 생성하면서도 알려진 인과 효과와 혼란 구조를 내장하기 위해.
• 사용자가 실제 데이터 생성 과정을 시뮬레이션함으로써 자신의 특정 데이터에 최적의 인과 추정 방법을 평가하고 선택할 수 있도록 지원하기 위해.
• 다양한 가정 하에서 민감도 분석과 방법 벤치마킹을 지원하는 탄력적이고 사용자 제어가 가능한 검증 도구를 제공하기 위해.

제안 방법

• Credence는 관측 데이터셋에서 데이터 생성 과정(DGP)을 학습하기 위해 딥 생성 모델—특히 변분 오토인코더(Variational Autoencoders)를 사용하여, 원본 데이터와 통계적으로 구분할 수 없는 합성 데이터를 생성한다.
• 사용자는 공변량의 함수로 지정된 진정한 치료 효과 함수 $ f(\cdot) $ 와 혼란 변수 편향 함수 $ g(\cdot) $ 를 지정함으로써 합성 데이터에 진정한 인과 효과를 내장한다.
• 이 프레임워크는 관측 데이터의 경험적 분포를 유지하여 실질적인 근사 확률 분포와 공변량의 근사 결합 분포를 보존한다.
• 인과 추론 방법들은 진정한 DGP를 알고 있는 오라클에 비해 성능을 평가하기 위해 합성 데이터에서 평가된다.
• 함수 $ f(\cdot) $ 와 $ g(\cdot) $ 를 선택하기 위해 두 가지 전략 기반 접근법을 권장한다: (1) 관측 데이터에서 생략된 변수 편향을 추정하여 $ g $ 를 설정하고, (2) 함수 클래스에 대한 최소-최대 검색을 수행하여 내성적 강건성 테스트를 수행한다.
• 사용자가 측정 오차, 간섭, 측정되지 않은 혼란 변수에 대한 가정을 다양하게 조정할 수 있도록 하여 민감도 분석을 지원한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 통계적으로 관측 데이터와 구분할 수 없도록 실질적인 관측 데이터와 유사한 합성 데이터를 얼마나 잘 생성할 수 있는가?
• RQ2 사용자가 지정한 치료 효과와 혼란 변수 편향을 가진 합성 데이터가 진정한 DGP 지식을 가진 오라클에 비해 인과 추정기의 성능 순위를 얼마나 정확하게 복원할 수 있는가?
• RQ3 실제성과 방법 선택 정확성 측면에서 Credence는 전통적인 시뮬레이션 기반 평가 방법에 비해 어떤가?
• RQ4 실제로 치료 효과 및 혼란 함수를 지정하는 데 효과적인 전략은 무엇이며, 의미 있는 벤치마킹을 보장할 수 있는가?
• RQ5 Credence는 다양한 식별 가정 하에서 인과 추론 방법의 민감도 분석을 어느 정도 지원할 수 있는가?

주요 결과

• Credence는 통계적 성질과 분포 특성 측면에서 원본 관측 데이터와 거의 구분할 수 없도록 합성 데이터를 성공적으로 생성하였다.
• 진정한 데이터 생성 과정(DGP) 지식을 가진 오라클과 비교할 때, 인과 추론 추정기의 상대적 성능 순위를 정확하게 복원하였다.
• 광범위한 시뮬레이션과 실세계 응용(Lalonde 및 Project STAR)에서, Credence는 지정된 DGP 가정 하에서 가장 우수한 성능을 보인 인과 방법을 일관되게 식별하였다.
• 관측 데이터를 활용해 최대 생략된 변수 편향을 추정함으로써 혼란 변수 편향 함수 $ g(\cdot) $ 를 효과적으로 설정할 수 있었으며, 합성 데이터 생성의 현실성 향상에 기여하였다.
• 적대적 $ f(\cdot) $ 와 $ g(\cdot) $ 함수를 선택하기 위한 최소-최대 전략은 방법에 따라 특화된 취약점을 드러내고 강건성 평가를 향상시켰다.
• Credence의 평가는 사용자가 지정한 가정에 조건을 두고 있으므로, 그 진단 능력은 특히 측정되지 않은 혼란 변수와 측정 오차에 대한 가정의 정확성에 따라 달라진다.