[论文解读] An Evaluation Toolkit to Guide Model Selection and Cohort Definition in Causal Inference

Yishai Shimoni, Ehud Karavani+6 more|arXiv (Cornell University)|Jun 2, 2019

Advanced Causal Inference Techniques参考文献 33被引用 23

一句话总结

本文提出了一套全面的、基于Python的因果推断评估工具包，用于医疗保健领域，通过引入倾向得分校准、协变量平衡和可忽略性检查等因果特异性诊断指标，扩展了标准机器学习指标。该工具包支持使用真实世界数据进行迭代的模型与队列选择，通过在训练集、验证集和测试集上的系统性评估，显著提升了因果效应估计的可靠性与可复现性，尤其在个性化医疗领域表现突出。

ABSTRACT

Real world observational data, together with causal inference, allow the estimation of causal effects when randomized controlled trials are not available. To be accepted into practice, such predictive models must be validated for the dataset at hand, and thus require a comprehensive evaluation toolkit, as introduced here. Since effect estimation cannot be evaluated directly, we turn to evaluating the various observable properties of causal inference, namely the observed outcome and treatment assignment. We developed a toolkit that expands established machine learning evaluation methods and adds several causal-specific ones. Evaluations can be applied in cross-validation, in a train-test scheme, or on the training data. Multiple causal inference methods are implemented within the toolkit in a way that allows modular use of the underlying machine learning models. Thus, the toolkit is agnostic to the machine learning model that is used. We showcase our approach using a rheumatoid arthritis cohort (consisting of about 120K patients) extracted from the IBM MarketScan(R) Research Database. We introduce an iterative pipeline of data definition, model definition, and model evaluation. Using this pipeline, we demonstrate how each of the evaluation components helps drive model selection and refinement of data extraction criteria in a way that provides more reproducible results and ensures that the causal question is answerable with available data. Furthermore, we show how the evaluation toolkit can be used to ensure that performance is maintained when applied to subsets of the data, thus allowing exploration of questions that move towards personalized medicine.

研究动机与目标

• 解决在真实世界观察性医疗数据中因果推断模型缺乏系统性评估工具的问题。
• 提供一个模块化、可扩展的评估框架，支持标准机器学习指标与因果特异性诊断。
• 通过在训练集、验证集和测试集上的性能评估，指导数据提取标准与模型选择的迭代优化。
• 通过检测偏差并确保在数据子集上的稳健性，提升模型的可靠性与泛化能力，以支持个性化医疗。
• 通过验证忽略性、可忽略性及协变量平衡等假设，支持可信的因果推断。

提出的方法

• 在标准机器学习评估方法的基础上，扩展了倾向得分校准、协变量平衡和可忽略性评估等因果特异性指标。
• 在交叉验证、训练-测试集划分或训练数据上应用评估，以评估模型性能与泛化能力。
• 模块化地集成多种因果推断方法（例如双重稳健、加权、匹配），并支持底层机器学习模型的灵活替换。
• 采用数据定义、模型定义与迭代评估相结合的流水线，以优化队列选择与模型决策。
• 使用合成基准进行初始方法筛选，但强调真实数据评估，以避免对合成模式的过拟合。
• 通过可视化评估结果，检测过拟合、校准不良与不平衡等问题，指导模型与数据的进一步优化。

实验结果

研究问题

• RQ1 当因果效应在真实世界数据中不可观测时，如何对因果推断模型进行系统性评估？
• RQ2 在观察性医疗研究中，哪些评估指标最能确保模型的可靠性与有效性？
• RQ3 如何通过迭代的模型与队列优化，提升因果推断结果的稳健性与泛化能力？
• RQ4 评估指标在多大程度上能够检测到可忽略性与可忽略性等关键因果假设的违反？
• RQ5 尽管个体层面的治疗效应不可观测，该工具包如何支持开发可靠的个性化医疗模型？

主要发现

• 该评估工具包能够有效识别并诊断诸如可忽略性违反、协变量平衡差以及倾向得分模型校准不良等问题，从而支持数据与模型的优化。
• 倾向得分模型的评估表明，数据提取标准与协变量选择显著影响模型可靠性，需通过迭代调整加以优化。
• 仅在训练数据上表现良好是不够的；验证集表现与校准检查对于避免过拟合并确保泛化能力至关重要。
• 该工具包支持在数据子集上的可靠模型评估，通过确保性能一致性，支持个性化医疗问题的探索。
• 即使结果模型表现不佳，只要倾向得分模型表现良好，仍可在亚群中实现有效的因果效应估计，保持分析的实用性。
• 基于评估指标引导的迭代流程，使得在约12万名类风湿性关节炎患者队列中，因果推断结果更具可复现性与可信度。