[论文解读] Augmented Transfer Regression Learning with Semi-non-parametric Nuisance Models

Molei Liu, Yi Zhang+2 more|arXiv (Cornell University)|Oct 6, 2020

Statistical Methods and Inference被引用 8

一句话总结

本文提出增强型迁移回归学习（ATReL），一种半非参数方法，通过结合重要性加权与结果变量插补模型，提升迁移学习中协变量偏移的校正效果。该方法实现 $n^{1/2}$-一致性与率双鲁棒性——只要重要性权重或结果模型其中之一正确设定，结果依然有效，同时缓解了高维性与模型误设问题。

ABSTRACT

In contemporary statistical learning, covariate shift correction plays an important role in transfer learning when distribution of the testing data is shifted from the training data. Importance weighting, as a natural and principle strategy to adjust for covariate shift, has been commonly used in the field of transfer learning. However, this strategy is not robust to model misspecification or excessive estimation error. In this paper, we propose an augmented transfer regression learning (ATReL) approach that introduces an imputation model for the targeted response, and uses it to augment the importance weighting equation. With novel semi-non-parametric constructions and calibrated moment estimating equations for the two nuisance models, our ATReL method is less prone to (i) the curse of dimensionality compared to nonparametric approaches, and (ii) model mis-specification than parametric approaches. We show that our ATReL estimator is root-n-consistent when at least one nuisance model is correctly specified, estimation for the parametric part of the nuisance models achieves parametric rate, and the nonparametric components are rate doubly robust. Simulation studies demonstrate that our method is more robust and efficient than existing parametric and fully nonparametric (machine learning) estimators under various configurations. We also examine the utility of our method through a real example about transfer learning of phenotyping algorithm for rheumatoid arthritis across different time windows. Finally, we propose ways to enhance the intrinsic efficiency of our estimator and to incorporate modern machine learning methods with our proposed framework.

研究动机与目标

• 解决迁移学习中训练与测试数据分布不同的协变量偏移挑战，尤其在基于电子健康记录的表型识别等生物医学应用中。
• 克服标准重要性加权方法对模型误设和高维估计误差敏感的局限性。
• 开发一种方法，在至少一个干扰模型（重要性权重或结果模型）误设时仍能保持统计有效性与效率。
• 提出一种半非参数框架，平衡灵活性与可解释性，避免完全非参数方法常见的维度灾难问题。
• 提升真实世界场景下迁移学习的稳健性与效率，例如从电子健康记录中跨医院预测类风湿性关节炎。

提出的方法

• 提出一种增强型估计方程，结合重要性加权与响应变量的插补模型，提升估计稳定性。
• 对两个干扰模型均采用半非参数构造：参数部分用于可解释性，非参数部分（如样条或核机器）用于灵活性。
• 制定校准的矩估计方程，在正则条件下确保双鲁棒性与率双鲁棒性。
• 应用现代机器学习技术（如正则化回归、核机器）估计干扰模型，增强对复杂数据结构的适应能力。
• 确保当至少一个干扰模型正确设定时，ATReL 估计量具有 $n^{1/2}$-一致性，且参数部分达到参数收敛速率。
• 引入效率增强技术，在不牺牲鲁棒性的前提下提升最终估计量的精度。

实验结果

研究问题

• RQ1 当重要性权重或结果模型其中之一误设时，迁移学习方法是否仍能实现一致且高效的推断？
• RQ2 半非参数建模在高维设定下如何减少维度灾难，同时保持对模型误设的鲁棒性？
• RQ3 在有限样本下，所提出的 ATReL 方法在偏差、方差与置信区间覆盖方面，相较于完全参数与完全非参数估计器，优势程度如何？
• RQ4 将机器学习方法（如核机器、样条）整合到干扰模型估计中，如何提升真实世界生物医学数据中的性能表现？
• RQ5 所提出的框架是否可扩展以提升内在效率，并支持在大规模电子健康记录应用中实现灵活且可扩展的实现？

主要发现

• ATReL 实现了 $n^{1/2}$-一致性与率双鲁棒性，只要两个干扰模型（重要性权重或结果模型）其中之一正确设定，即可保证推断有效性。
• 在模拟研究中，ATReL 表现更优，RMSE 更低（如 $\beta_0$ 的 RMSE 为 0.113），且覆盖概率更高（CP = 0.95），优于参数与完全非参数方法。
• 在配置 (iii) 下，ATReL 对 $\beta_1$ 的估计偏差显著降低（偏差 = -0.014），优于参数方法（偏差 = -0.052）与 DML BE（偏差 = -0.064）。
• 在真实世界类风湿性关节炎表型识别案例中，ATReL 产生的系数估计更稳定且更具可解释性（如 $\beta_2 = 1.39$），优于对比方法。
• 即使在模型误设情况下，该估计量仍保持高覆盖概率（CP ≥ 0.91），在部分配置中优于 DML BE（CP = 0.73）。
• 当将机器学习方法融入干扰模型时，观察到效率提升，尤其在高维或复杂条件结果设定下更为显著。