[论文解读] A comparison of methods for model selection when estimating individual treatment effects

Alejandro Schuler, Michael Baiocchi+2 more|arXiv (Cornell University)|Apr 14, 2018

Advanced Causal Inference Techniques被引用 30

一句话总结

本文提出使用基于 R-learner 的估计治疗风险（$ widehat{\tau\text{-risk}}_R$）作为个体治疗效应估计的模型选择指标。通过模拟实验表明，在验证集上优化该指标能一致地选择出真实治疗风险最低的模型，优于 IPTW 或 DR 基于的指标，即使目标是最大化策略价值。

ABSTRACT

Practitioners in medicine, business, political science, and other fields are increasingly aware that decisions should be personalized to each patient, customer, or voter. A given treatment (e.g. a drug or advertisement) should be administered only to those who will respond most positively, and certainly not to those who will be harmed by it. Individual-level treatment effects can be estimated with tools adapted from machine learning, but different models can yield contradictory estimates. Unlike risk prediction models, however, treatment effect models cannot be easily evaluated against each other using a held-out test set because the true treatment effect itself is never directly observed. Besides outcome prediction accuracy, several metrics that can leverage held-out data to evaluate treatment effects models have been proposed, but they are not widely used. We provide a didactic framework that elucidates the relationships between the different approaches and compare them all using a variety of simulations of both randomized and observational data. Our results show that researchers estimating heterogenous treatment effects need not limit themselves to a single model-fitting algorithm. Instead of relying on a single method, multiple models fit by a diverse set of algorithms should be evaluated against each other using an objective function learned from the validation set. The model minimizing that objective should be used for estimating the individual treatment effect for future individuals.

研究动机与目标

• 为解决个体治疗效应（ITE）模型缺乏共识的模型选择方法问题，这些模型无法通过标准测试集损失进行评估，因为潜在结果未被观测到。
• 评估并比较多种基于验证的指标，用于在不同 ITE 估计算法（如 T-learner、R-learner、随机森林、梯度提升）中进行选择。
• 确定哪种模型选择指标最可靠地识别出真实治疗风险最低且策略价值最高的模型，适用于随机化和观察性研究设置。
• 提供一种实用且客观的 ITE 模型选择框架，避免对单一算法或启发式方法的依赖。

提出的方法

• 作者通过模拟生成具有已知潜在结果的随机化和观察性数据，以在受控条件下评估模型性能。
• 使用一系列算法（如 T-learner、R-learner、弹性网络、梯度提升）估计个体治疗效应，并计算多种基于验证集的指标：$\\nwidehat{\tau\text{-risk}}_R$、$\\nwidehat{\tau\text{-risk}}_{IPTW}$、$\\nwidehat{\tau\text{-risk}}_{match}$、$\\nwidehat{\mu\text{-risk}}$、$\\nwidehat{\mu\text{-risk}}_{IPTW}$、$\\hat{v}_{IPTW}$ 和 $\\hat{v}_{DR}$。
• 通过选择使每个验证指标最小化的模型进行模型选择，并在测试集上使用真实 $\tau$-风险和策略价值 $v^{(\mathcal{S})}$ 评估性能。
• 基于 R-learner 的 $\\nwidehat{\tau\text{-risk}}_R$ 源自 R-learner 框架，该框架通过最小化结合治疗和对照下结果预测的损失函数来估计治疗效应。
• 通过比较验证集指标与真实测试集性能之间的相关性，评估每种选择标准的可靠性。
• 承认估计器存在偏差，但认为其在模型选择中影响较小，因为目标是模型间的相对比较。

实验结果

研究问题

• RQ1 在多种数据生成过程中，哪种基于验证集的指标最一致地选择出真实治疗风险最低的模型？
• RQ2 在存在无混淆性违背的观察性数据设置下，模型选择性能在随机化与观察性数据中如何变化？
• RQ3 基于策略价值指标（$\\hat{v}_{IPTW}$、$\\hat{v}_{DR}$）选择模型是否能带来优于基于 $\tau$-风险指标的选择的最终策略性能？
• RQ4 是否存在一种单一模型选择指标，能在广泛的估计算法和数据配置中优于其他指标？
• RQ5 不同 $\tau$-风险估计器（如 IPTW、匹配、R-learner）在按真实性能对模型进行排序方面的能力如何比较？

主要发现

• 基于 R-learner 的 $\\nwidehat{\tau\text{-risk}}_R$ 在选择真实 $\tau$-风险最低的模型方面，始终优于所有其他基于验证集的指标，尤其在随机化设置中表现突出。
• 即使目标是最大化策略价值 $v^{(\mathcal{S})}$，基于 $\\nwidehat{\tau\text{-risk}}_R$ 的选择仍优于使用 $\\hat{v}_{IPTW}$ 或 $\\hat{v}_{DR}$ 的方法，尽管后者在 $v^{(\mathcal{S})}$ 上是无偏的，但仍是次优的。
• $\\nwidehat{\mu\text{-risk}}$ 和 $\\nwidehat{\mu\text{-risk}}_{IPTW}$ 指标表现良好，在随机化设置下两者等价，但在模型选择准确性上仍逊于 $\\nwidehat{\tau\text{-risk}}_R$。
• 所有 $\tau$-风险估计器均存在向上偏差，但这种偏差并未损害其有效排序模型的能力，因为相对差异仍具信息量。
• 在无真实治疗效应的情境下（如模拟 1 和 9），所有模型表现相同，证实这些指标能正确反映模型的等价性。
• 结果表明模型性能高度依赖于算法：例如，在不同模拟设置中，R-learners、T-learners 和弹性网络模型各自优于其他模型，凸显了模型选择的必要性而非对特定算法的依赖。