[论文解读] Efficient augmentation and relaxation learning for individualized treatment rules using observational data

Ying‐Qi Zhao, Eric B. Laber+3 more|PubMed|Jan 3, 2019

Statistical Methods and Inference参考文献 29被引用 78

一句话总结

这篇论文提出 EARL，一种对观察数据学习最优个体化治疗规则的双重鲁棒、凸松弛方法，整合倾向评分模型与结果模型。提供理论风险/收敛保证，并展示相较现有方法在有限样本下的性能改进。

ABSTRACT

Individualized treatment rules aim to identify if, when, which, and to whom treatment should be applied. A globally aging population, rising healthcare costs, and increased access to patient-level data have created an urgent need for high-quality estimators of individualized treatment rules that can be applied to observational data. A recent and promising line of research for estimating individualized treatment rules recasts the problem of estimating an optimal treatment rule as a weighted classification problem. We consider a class of estimators for optimal treatment rules that are analogous to convex large-margin classifiers. The proposed class applies to observational data and is doubly-robust in the sense that correct specification of either a propensity or outcome model leads to consistent estimation of the optimal individualized treatment rule. Using techniques from semiparametric efficiency theory, we derive rates of convergence for the proposed estimators and use these rates to characterize the bias-variance trade-off for estimating individualized treatment rules with classification-based methods. Simulation experiments informed by these results demonstrate that it is possible to construct new estimators within the proposed framework that significantly outperform existing ones. We illustrate the proposed methods using data from a labor training program and a study of inflammatory bowel syndrome.

研究动机与目标

• 在强忽略性、一致性和正性假设下，推动从观测数据中估计最优的个体化治疗规则（ITRs）。
• 开发一种直接、可扩展的方法，使 ITR 类别与结果模型解耦，以提高可解释性和鲁棒性。
• 提出对增强逆概率加权估计量（AIPWE）的凸松弛，以实现高效计算和理论收敛保证。
• 建立双重鲁棒性：当倾向分数模型或结果模型中的任一被正确指定时，规则的一致性。
• 在样本分割和各种凸代理损失下，提供 EARL 的理论风险界和收敛速率。

提出的方法

• 将 ITR 定义为符号函数 d(x)=sgn{f(x)}，其中 f 属于可测类，在一个凸代理损失上进行最优化。
• 利用 AIPWE 构建增强值估计量，以实现相对于倾向分数和结果模型的双重鲁棒性。
• 将 EARL 形式化为一个凸优化问题，最小化带惩罚项的代理风险，结合由估计的 π 和 Q 函数推导的权重。
• 引入样本分割，将无关函数估计（π、Q）与风险最小化步骤分离，从而实现更弱的熵条件。
• 证明基于 AIPWE 的准则的最大化等价于最小化加权的 0-1 损失，而后者可被凸代理（hinge、logistic、exponential、squared hinge）逼近。
• 提供理论结果，将代理风险与价值函数风险联系起来，并推导收敛速率，取决于代理、无关函数的速率和近似空间。

实验结果

研究问题

• RQ1 我们是否可以在一个预设规则类内，以双重鲁棒、计算高效且可解释的方式，从观测数据中估计出最优的 ITR？
• RQ2 不同的凸代理损失和无关函数估计速率如何影响 EARL 中估计的 ITR 的收敛性和准确性？
• RQ3 样本分割是否放宽熵条件，并为 EARL 估计器提供稳健的理论保证？
• RQ4 在有限样本中，在哪些情形下 EARL 估计器优于现有方法，如 OWL 或基于 IPWE 的方法？
• RQ5 在 EARL 下，将代理风险与价值函数风险联系起来的理论风险界是什么？

主要发现

• EARL 提供双重鲁棒框架：若倾向分数模型或 Q 函数模型被正确指定，估计的 ITR 即一致。
• 最大化 AIPWE 的凹松弛化简化为最小化加权的代理损失，从而在高维中实现高效优化。
• 收敛速率结果显示，凸代理的选择、无关函数的速率以及近似空间如何影响性能。
• 样本分割消除了无关估计与经验风险最小化之间的依赖，放宽熵条件并改善理论保证。
• EARL 将 OWL 作为一个特殊情况，并且由于 π 与 Q 估计之间的乘法误差结构，可以在有限样本下获得比基于 IPWE 的方法更快的性能。
• 仿真研究在理论指导下，显示相对于现有方法的显著有限样本改进；真实数据示例包括一个劳动培训计划和炎性肠综合征研究。