[论文解读] Debiasing Linear Prediction.

Nilesh Tripuraneni, Lester Mackey|arXiv (Cornell University)|Aug 6, 2019

Statistical Methods and Inference参考文献 22被引用 5

一句话总结

本文提出了一种归纳式、测试点感知的线性预测去偏方法，通过引入对下一个测试输入 $$\mathbf{x}_{\star}$$ 的先验知识，减少正则化偏差。通过利用半参数推断技术，作者推导出非渐近误差界，并在分布偏移情况下，展示了其在预测精度上优于标准岭回归和Lasso方法，尤其在分布偏移场景下表现更优。

ABSTRACT

Standard methods in supervised learning separate training and prediction: the model is fit independently of any test points it may encounter. However, can knowledge of the next test point $\mathbf{x}_{\star}$ be exploited to improve prediction accuracy? We address this question in the context of linear prediction, showing how debiasing techniques can be used transductively to combat regularization bias. We first lower bound the $\mathbf{x}_{\star}$ prediction error of ridge regression and the Lasso, showing that they must incur significant bias in certain test directions. Then, building on techniques from semi-parametric inference, we provide non-asymptotic upper bounds on the $\mathbf{x}_{\star}$ prediction error of two transductive, debiased prediction rules. We conclude by showing the efficacy of our methods on both synthetic and real data, highlighting the improvements test-point-tailored debiasing can provide in settings with distribution shift.

研究动机与目标

• 探究是否可利用对下一个测试点 $\mathbf{x}_{\star}$ 的知识来提升线性模型的预测精度。
• 识别并量化标准正则化方法（如岭回归和Lasso）在特定测试方向上引入的固有偏差。
• 开发可适应 $\mathbf{x}_{\star}$ 的归纳预测规则，以减少该偏差。
• 为所提出的去偏方法的预测误差提供非渐近理论界。
• 在合成数据和真实世界数据上，通过实证验证在分布偏移下预测精度的提升。

提出的方法

• 作者推导了岭回归和Lasso预测误差的下界，表明它们在 $\mathbf{x}_{\star}$ 的某些方向上会引入显著偏差。
• 提出两种归纳式、去偏的预测规则，这些规则在预测过程中显式考虑了测试点 $\mathbf{x}_{\star}$。
• 方法基于半参数推断理论，可实现 $\mathbf{x}_{\star}$ 预测误差的非渐近上界。
• 去偏机制通过利用 $\mathbf{x}_{\star}$ 的结构，校正由正则化引入的偏差。
• 该方法将测试点视为预先已知，使模型能够针对 $\mathbf{x}_{\star}$ 的方向定制预测，以减少偏差。
• 理论分析为所提规则建立了有限样本性能保证，与渐近结果形成鲜明对比。

实验结果

研究问题

• RQ1 在何种程度上，利用对下一个测试点 $\mathbf{x}_{\star}$ 的知识可提升线性模型的预测精度？
• RQ2 当 $\mathbf{x}_{\star}$ 位于高方差方向时，岭回归和Lasso的预测误差是否存在根本性的下界？
• RQ3 如何设计归纳方法，使其在非渐近设置下利用 $\mathbf{x}_{\star}$ 实现预测去偏？
• RQ4 在分布偏移下，所提出的去偏规则相较于标准正则化方法能多大程度上提升性能？
• RQ5 可为测试点感知模型的预测误差提供何种理论保证？

主要发现

• 证明了岭回归和Lasso在某些测试方向上会引入显著偏差，且其预测误差存在理论下界。
• 所提出的归纳式、去偏预测规则在 $\mathbf{x}_{\star}$ 预测误差上实现了比标准方法更紧的非渐近上界。
• 在合成数据上，方法在高偏差方向上表现出可测量的预测精度提升。
• 在存在分布偏移的真实世界数据集上，针对测试点定制的去偏方法持续优于标准正则化方法。
• 理论分析证实，所提规则对模型误设具有鲁棒性，并能提供有限样本下的误差控制。