[论文解读] Benchmarking Framework for Performance-Evaluation of Causal Inference Analysis

Yishai Shimoni, Chen Yanover+2 more|arXiv (Cornell University)|Feb 14, 2018

Advanced Causal Inference Techniques参考文献 9被引用 23

一句话总结

本文介绍了 IBM 因果推断基准测试框架，这是一个开源平台，可使用基于真实世界健康数据的模拟数据，对因果推断算法进行标准化评估。该框架提供标注的反事实结果、用于可扩展性测试的多样化数据子集以及删失情景，并配备全面的指标，以评估在不同数据条件下的准确性、精确度和鲁棒性。

ABSTRACT

Causal inference analysis is the estimation of the effects of actions on outcomes. In the context of healthcare data this means estimating the outcome of counter-factual treatments (i.e. including treatments that were not observed) on a patient's outcome. Compared to classic machine learning methods, evaluation and validation of causal inference analysis is more challenging because ground truth data of counter-factual outcome can never be obtained in any real-world scenario. Here, we present a comprehensive framework for benchmarking algorithms that estimate causal effect. The framework includes unlabeled data for prediction, labeled data for validation, and code for automatic evaluation of algorithm predictions using both established and novel metrics. The data is based on real-world covariates, and the treatment assignments and outcomes are based on simulations, which provides the basis for validation. In this framework we address two questions: one of scaling, and the other of data-censoring. The framework is available as open source code at https://github.com/IBM-HRL-MLHLS/IBM-Causal-Inference-Benchmarking-Framework

研究动机与目标

• 为解决在观察性医疗数据中评估因果推断方法缺乏标准化基准的问题。
• 通过统一的数据集和评估流程，实现因果推断算法的公平、可复现比较。
• 研究算法性能如何随数据规模（可扩展性）和信息性删失条件而变化。
• 提供一个由社区驱动的平台，通过开源代码和可扩展的指标，评估和改进因果推断方法。
• 支持在真实世界医疗应用中开发更稳健和可靠的因果效应估计方法。

提出的方法

• 该框架采用基于仿真的方法，基于来自《链接出生与婴儿死亡数据库》（LBIDD）的真实协变量，生成合成的处理分配和反事实结果。
• 随机生成具有可配置参数的因果图，包括协变量数量、混杂重叠程度、非线性程度和处理流行率。
• 处理分配、结果和删失在统一过程中模拟：首先计算反事实结果和删失，然后根据处理状态和删失状态选择实际结果。
• 该框架包含多个不同规模的数据子集（1k至50k个样本），用于评估在不同数据量下的可扩展性和性能。
• 支持两种主要评估路径：一种用于可扩展性（变化的数据集规模），另一种用于删失（基于协变量模拟缺失结果）。
• 使用一组指标（包括 ENoRMSE、RMSE、Bias、Coverage、CIC 和 ENCIS）评估准确性与精确度，聚合得分通过加权和与平方均值计算。

实验结果

研究问题

• RQ1 因果推断算法在不同数据规模下的表现如何，其在准确性与计算成本方面的可扩展性如何？
• RQ2 算法如何处理信息性删失，即结果基于协变量非随机缺失的情况？
• RQ3 哪些指标最能捕捉因果效应估计中准确性、精确度与鲁棒性之间的权衡？
• RQ4 在不同非线性程度和混杂水平下，算法性能与稳定性如何变化？
• RQ5 统一的基准测试框架能否提升因果推断研究的可复现性与社区整体进展？

主要发现

• 该框架可利用真实协变量和模拟反事实结果，实现因果推断算法的标准化、可复现评估。
• 诸如 ENoRMSE 和 ENCIS 等性能指标表明，算法的准确性和精确度在不同数据规模和删失水平下存在显著差异。
• 聚合评分方法确保了更大数据集对整体性能得分的贡献成比例增加，反映了真实世界数据的实用性。
• 删失情景的引入揭示，某些方法在非随机缺失情况下性能显著下降，凸显了鲁棒性测试的必要性。
• 该框架同时支持准确性和精确度评估，Coverage 和 CIC 等指标提供了对区间可靠性和不确定性估计的洞察。
• 该框架的开源性质鼓励社区参与，包括新数据集和评估指标的贡献，增强了长期可扩展性。