[论文解读] Doubly Robust Augmented Model Accuracy Transfer Inference with High Dimensional Features

Doudou Zhou, Molei Liu+2 more|arXiv (Cornell University)|Aug 10, 2022

Cancer-related molecular mechanisms research被引用 4

一句话总结

本文提出 DRAMATIC，一种双重稳健方法，用于在协变量偏移条件下，利用标注的源数据，在高维、未标注的目标群体中实现模型准确率的迁移与评估。通过结合插补模型与密度比模型，并利用校准的矩方程，DRAMATIC 实现了对 ROC 曲线及性能指标的 $n^{1/2}$-一致估计，在分布偏移下的偏差减少与覆盖率方面优于现有方法。

ABSTRACT

Due to label scarcity and covariate shift happening frequently in real-world studies, transfer learning has become an essential technique to train models generalizable to some target populations using existing labeled source data. Most existing transfer learning research has been focused on model estimation, while there is a paucity of literature on transfer inference for model accuracy despite its importance. We propose a novel $\mathbf{D}$oubly $\mathbf{R}$obust $\mathbf{A}$ugmented $\mathbf{M}$odel $\mathbf{A}$ccuracy $\mathbf{T}$ransfer $\mathbf{I}$nferen$\mathbf{C}$e (DRAMATIC) method for point and interval estimation of commonly used classification performance measures in an unlabeled target population using labeled source data. Specifically, DRAMATIC derives and evaluates the risk model for a binary response $Y$ against some low dimensional predictors $\mathbf{A}$ on the target population, leveraging $Y$ from source data only and high dimensional adjustment features $\mathbf{X}$ from both the source and target data. The proposed estimators are doubly robust in the sense that they are $n^{1/2}$ consistent when at least one model is correctly specified and certain model sparsity assumptions hold. Simulation results demonstrate that the point estimation have negligible bias and the confidence intervals derived by DRAMATIC attain satisfactory empirical coverage levels. We further illustrate the utility of our method to transfer the genetic risk prediction model and its accuracy evaluation for type II diabetes across two patient cohorts in Mass General Brigham (MGB) collected using different sampling mechanisms and at different time points.

研究动机与目标

• 解决在目标群体中真实标签稀缺时，迁移学习在模型性能评估方面的关键空白。
• 利用标注的源数据，实现对未标注目标群体中分类性能指标（如 AUC 和 ROC）的准确点估计与区间估计。
• 应对高维协变量及源与目标群体之间分布偏移（协变量偏移）带来的挑战。
• 开发一种方法，即使在插补模型或密度比模型中的任一模型被错误设定时，仍能保持一致性和高效性，确保稳健性。
• 通过新颖的校准矩方程框架，减轻高维干扰估计量在 ROC 曲线估计中的正则化偏差。

提出的方法

• 仅使用源数据中 $Y$ 的标签以及源与目标群体的高维特征 $\mathbf{X}$，构建针对目标群体中风险模型 $\mathbb{P}(Y=1 \mid \mathbf{A})$ 的双重稳健估计方程。
• 同时建模 $\mathbb{E}[Y \mid \mathbf{X}]$ 的插补与密度比 $\frac{p_{\text{target}}(\mathbf{X})}{p_{\text{source}}(\mathbf{X})}$，以应对协变量偏移。
• 构建校准的矩方程，以校正插补模型与密度比模型中高维干扰估计量的正则化偏差。
• 应用一种新颖的“最近分位数”策略，以确保在估计完整 ROC 曲线时具备统计效率与计算可行性。
• 基于校准矩方程框架，推导出 AUC、ROC(0.1) 与 ROC(0.2) 的双重稳健估计量，并提供有效的 95% 置信区间。
• 对干扰参数采用 $l_r$ 范数（$r \in [0,1]$）的稀疏性假设，而非严格的 $l_0$ 稀疏性，以增强模型的灵活性与现实性。

Figure 1 : The nearest quantile strategy. The quantiles $\widehat{c}_{j}$ ’s are set to divide the source sample equally such that $n_{j}-n_{j+1}=n_{\min}$ and $n_{m}=n_{\min}$ . The nuisance models are calibrated at these quantiles for the doubly robust estimation of $\mathbf{TPR}$ and $\mathbf{FPR

实验结果

研究问题

• RQ1 当仅有标注的源数据可用时，我们能否在未标注的目标群体中实现对模型准确率指标（如 AUC、ROC）的一致且高效的估计？
• RQ2 当插补模型或密度比模型被错误设定时，我们如何确保模型准确率迁移的稳健性？
• RQ3 在估计完整 ROC 曲线时，一种有效校正高维干扰估计量正则化偏差的方法是什么？
• RQ4 在高维特征下，我们能否为性能指标在分布偏移下构建有效的置信区间？
• RQ5 与现有方法（如重要性加权、插补、朴素源估计）相比，所提出方法在偏差、覆盖率与准确性方面表现如何？

主要发现

• DRAMATIC 到验证基准 ROC 曲线的总变差（TV）距离最小——比朴素源估计器小 41%，比重要性加权方法小 58%，比基于插补的方法小 32%。
• DRAMATIC 的 rMSPE（相对均方预测误差）比朴素源估计器低 68%，比重要性加权方法低 54%，比插补方法低 34%。
• DRAMATIC 生成的 AUC 与 ROC(0.1) 的 95% 置信区间正确覆盖了验证估计器，且区间长度适中、合理。
• 在 AUC 方面，DRAMATIC 的估计值（0.671）最接近真实目标值（0.656），其 95% 置信区间为 (0.622, 0.720)，优于所有其他方法在真实值附近的接近程度。
• DRAMATIC 估计的 ROC 曲线（图 2 中的红色虚线）在视觉与定量上均最接近验证基准曲线（黑色实线），证实了其在曲线估计方面的优越性。
• 该方法在模型错误设定下表现出稳健性：当插补模型或密度比模型之一被正确设定时，仍能实现一致估计，前提是满足适当的稀疏性条件。

Figure 2 : Estimated ROC curves. Source: naive source data estimator; DRAMATIC: our proposed doubly robust method; IW: importance weighting method; IM: imputation based method; Target: benchmark obtained using the validation samples.