[论文解读] Benchmarking Heterogeneous Treatment Effect Models through the Lens of Interpretability

Jonathan Crabbé, Alicia Curth+2 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了ITErpretability基准，通过事后特征重要性评估异质性处理效应（HTE）模型，揭示了模型可解释性——尤其是识别预测协变量的能力——在不同混杂类型下存在显著差异。研究发现，预测性混杂对归因性能的损害最为严重，而像CFRNet这样的模型中使用平衡正则化虽能降低估计误差，却可能削弱可解释性。

ABSTRACT

Estimating personalized effects of treatments is a complex, yet pervasive problem. To tackle it, recent developments in the machine learning (ML) literature on heterogeneous treatment effect estimation gave rise to many sophisticated, but opaque, tools: due to their flexibility, modularity and ability to learn constrained representations, neural networks in particular have become central to this literature. Unfortunately, the assets of such black boxes come at a cost: models typically involve countless nontrivial operations, making it difficult to understand what they have learned. Yet, understanding these models can be crucial -- in a medical context, for example, discovered knowledge on treatment effect heterogeneity could inform treatment prescription in clinical practice. In this work, we therefore use post-hoc feature importance methods to identify features that influence the model's predictions. This allows us to evaluate treatment effect estimators along a new and important dimension that has been overlooked in previous work: We construct a benchmarking environment to empirically investigate the ability of personalized treatment effect models to identify predictive covariates -- covariates that determine differential responses to treatment. Our benchmarking environment then enables us to provide new insight into the strengths and weaknesses of different types of treatment effects models as we modulate different challenges specific to treatment effect estimation -- e.g. the ratio of prognostic to predictive information, the possible nonlinearity of potential outcomes and the presence and type of confounding.

研究动机与目标

• 为解决HTE模型基准评估中缺乏可解释性评价的问题，传统上仅关注PEHE指标。
• 探究不同类型的混杂（预后性、预测性、无混杂）如何影响HTE模型识别真实预测协变量的能力。
• 开发一个透明的、半合成的基准环境，以系统评估黑箱HTE估计器中的特征重要性。
• 评估现有正则化技术（如CFRNet中的平衡正则化）是否在提升估计精度的同时改善或损害可解释性。
• 为个性化处理效应估计中估计精度与模型可解释性之间的权衡提供新见解。

提出的方法

• 使用具有已知预测协变量（真实值）的透明数据生成过程构建半合成数据集。
• 在半合成数据上训练黑箱HTE估计器（如神经网络、CFRNet），以估计条件平均处理效应（CATE）。
• 应用事后特征重要性方法（如LIME、SHAP）解释每个训练好的HTE模型的预测结果。
• 定义新指标Attr_pred，用于衡量排名靠前的特征重要性得分与真实预测协变量之间的重叠程度。
• 系统性地改变混杂类型（预后性、预测性、无混杂）和倾向得分尺度，以评估可解释性的稳健性。
• 通过Attr_pred（可解释性）和PEHE（估计精度）的对比，揭示不同模型之间的权衡。

实验结果

研究问题

• RQ1 混杂的存在及其类型（预后性、预测性、无混杂）如何影响HTE模型识别真实预测协变量的能力？
• RQ2 像CFRNet这样的模型中，平衡正则化在提升估计精度的同时，在多大程度上改善或损害了可解释性？
• RQ3 在不同混杂设置下，归因分数（特征重要性）与估计误差（PEHE）之间存在何种相关性？
• RQ4 数据生成过程的透明性是否能够实现对黑箱HTE模型可解释性的可靠基准测试？
• RQ5 在具有不同程度处理分配偏差的数据集上训练的模型之间，可解释性表现是否存在系统性差异？

主要发现

• 归因性能（以Attr_pred衡量）随着处理分配偏差的增加而系统性下降，尤其在预测性混杂下更为严重。
• 性能下降在预测性混杂下最为严重，因为处理组内协变量变异减少，阻碍了模型对真实效应修饰因子的学习。
• 出人意料的是，在预后性混杂下，Attr_pred性能下降最少，因为协变量不平衡在一定程度上抵消了对非预测特征的错误归因。
• CFRNet的平衡正则化在预测性混杂下导致Attr_pred显著下降，表明估计精度与可解释性之间存在权衡。
• 尽管在预后性混杂下PEHE有所改善，Attr_pred性能仍保持相对稳定，表明平衡正则化可能降低了预后成分的估计精度。
• 该基准揭示，仅凭PEHE不足以评估HTE模型，因为具有相似PEHE的模型在可解释性和特征发现能力方面可能存在巨大差异。