[论文解读] Evaluating Treatment Prioritization Rules via Rank-Weighted Average Treatment Effects

Steve Yadlowsky, Scott Fleming+3 more|arXiv (Cornell University)|Nov 15, 2021

Advanced Causal Inference TechniquesMathematics被引用 19

一句话总结

本文提出了排名加权平均处理效应（RATE）度量，作为一种通用且适用于推断的框架，用于评估治疗优先规则——无论这些规则是基于因果效应模型还是风险评分得出。该方法支持渐近有效的假设检验，并在检测处理效应异质性方面相较于现有度量（如Qini）展现出更优的统计功效，尤其在处理效应分布变化时表现更优。

ABSTRACT

There are a number of available methods for selecting whom to prioritize for treatment, including ones based on treatment effect estimation, risk scoring, and hand-crafted rules. We propose rank-weighted average treatment effect (RATE) metrics as a simple and general family of metrics for comparing and testing the quality of treatment prioritization rules. RATE metrics are agnostic as to how the prioritization rules were derived, and only assess how well they identify individuals that benefit the most from treatment. We define a family of RATE estimators and prove a central limit theorem that enables asymptotically exact inference in a wide variety of randomized and observational study settings. RATE metrics subsume a number of existing metrics, including the Qini coefficient, and our analysis directly yields inference methods for these metrics. We showcase RATE in the context of a number of applications, including optimal targeting of aspirin to stroke patients.

研究动机与目标

• 开发一种通用且统计严谨的度量方法，用于评估治疗优先规则，且对规则的推导方式保持无偏。
• 通过RATE估计量的中心极限定理，实现对优先规则性能的渐近精确推断。
• 比较线性与对数加权函数在检测异质性处理效应方面的RATE统计功效。
• 在真实世界医疗应用中（如缺血性卒中患者使用阿司匹林）评估基于CATE和基于风险的优先规则的性能。
• 提供开源工具，包括grf R包中的rank_average_treatment_effect函数，以支持实际部署。

提出的方法

• 提出一组RATE度量，按排名对处理效应进行加权，采用线性（类似Qini）和对数（类似AUTOC）加权函数。
• 推导RATE估计量的中心极限定理，以在随机化和观察性研究设计中实现渐近精确推断。
• 使用增广逆概率加权（AIPW）和逆概率加权（IPW）估计量，以增强对扰动参数估计误差的稳健性。
• 将方法应用于存在删失的生存结局，以限制均生存时间（RMST）作为结果度量。
• 采用折半自 resampling 方法计算RATE估计的95%置信区间和p值。
• 使用合成模拟和SPRINT及ACCORD-BP试验的真实世界数据对方法进行验证。

实验结果

研究问题

• RQ1 加权函数的选择（线性 vs. 对数）如何影响RATE在检测处理效应异质性方面的统计功效？
• RQ2 RATE能否对基于CATE模型或风险评分得出的优先规则提供有效推断，无论其来源如何？
• RQ3 在真实世界缺血性卒中治疗数据中，基于CATE和基于风险的优先规则在性能上如何比较？
• RQ4 在真实世界观察性环境中，RATE估计对扰动参数设定错误的稳健性如何？
• RQ5 RATE估计在不同临床试验人群（如SPRINT和ACCORD-BP）之间的一般化能力如何？

主要发现

• 当处理效应在人群中广泛存在且强度显著时，Qini系数（线性加权）表现出更高的统计功效。
• 当处理效应集中于少数高效益亚组时，AUTOC度量（对数加权）具有更高的检测功效。
• RATE估计在不同评分类型（IPW、AIPW和Oracle评分）下均保持稳健，证实了该方法在模型设定错误下的稳定性。
• 在SPRINT/ACCORD-BP联合分析中，因果生存森林模型的AUTOC估计为-5.83（95%置信区间：-14.09, 2.43），p值为0.17，表明优先规则无显著效益。
• Framingham风险评分和ACC/AHA合并队列方程均显示负的但不显著的AUTOC估计，提示在此情境下优先规则价值有限。
• 该方法可对存在删失的生存结局实现有效推断，扩展了RATE在常见医学研究设计中的适用性。