[论文解读] Data enriched linear regression

Aiyou Chen, Art B. Owen+1 more|arXiv (Cornell University)|Apr 6, 2013

Statistical Methods and Inference参考文献 25被引用 5

一句话总结

本文提出了一种数据增强的线性回归方法，通过惩罚两组回归系数之间的差异，将一个小而高质量的数据集与一个更大但可能存在偏差的数据集相结合。该方法采用收缩技术，特别是L2和L1惩罚，以提高预测准确性，并证明当系数个数d ≥ 5且误差自由度df ≥ 10时，无论偏差水平如何，忽略大样本数据集的做法都是不可取的。

ABSTRACT

We present a linear regression method for predictions on a small data set making use of a second possibly biased data set that may be much larger. Our method fits linear regressions to the two data sets while penalizing the difference between predictions made by those two models. The resulting algorithm is a shrinkage method similar to those used in small area estimation. We find a Stein-type finding for Gaussian responses: when the model has 5 or more coefficients and 10 or more error degrees of freedom, it becomes inadmissible to use only the small data set, no matter how large the bias is. We also present both plug-in and AICc-based methods to tune our penalty parameter. Most of our results use an $L_2$ penalty, but we obtain formulas for $L_1$ penalized estimates when the model is specialized to the location setting. Ordinary Stein shrinkage provides an inadmissibility result for only 3 or more coefficients, but we find that our shrinkage method typically produces much lower squared errors in as few as 5 or 10 dimensions when the bias is small and essentially equivalent squared errors when the bias is large.

研究动机与目标

• 通过结合更大但可能存在偏差的数据集中的信息，改进小样本高质量数据集上的预测准确性。
• 开发一种基于收缩的方法，以在大样本数据集的偏差与样本量增加带来的方差减少之间取得平衡。
• 建立理论条件，证明在何种情况下使用大样本数据集严格优于仅依赖小样本数据集。
• 提供基于插补法和AICc方法的惩罚参数调优策略。
• 证明在高维设置下，数据增强方法优于标准的Stein收缩方法。

提出的方法

• 构建一个混合回归模型，分别对两组数据集拟合最小二乘估计，同时对它们的系数向量差异施加惩罚。
• 对回归系数差异应用L2和L1惩罚，使估计值收缩至一个共同估计值。
• 在L2惩罚下推导出估计量的自由度的闭式表达式（定理2.1）。
• 使用插补法和AICc方法调优惩罚参数，以最小化期望均方误差。
• 将L1惩罚特化到位置设定，推导出软阈值估计量（定理3.1）。
• 采用基于数据的权重分配方法对样本内最小二乘估计量进行加权，理论基础基于Oracle风险比较。

实验结果

研究问题

• RQ1 在何种条件下，将更大但可能存在偏差的数据集纳入小样本高质量数据集的预测中，能够提升预测准确性？
• RQ2 即使大样本数据集存在高度偏差，是否也存在忽略它的不可取情况？
• RQ3 L2和L1惩罚估计量与标准Stein收缩方法在均方误差方面有何比较？
• RQ4 哪些调优策略（插补法、AICc）能使惩罚参数达到最优性能？
• RQ5 回归问题的维度如何影响数据增强带来的收益？

主要发现

• 当回归模型包含5个或更多系数且误差自由度为10个或以上时，仅使用小样本数据集的做法是不可取的，即使大样本数据集的偏差任意大。
• 当偏差较小时，数据增强估计量的均方误差显著低于仅使用小样本的估计量，尤其在维度d ≥ 5时表现更优。
• 在d ≥ 5时，数据增强方法在模拟中优于对小样本估计量直接进行标准Stein收缩（即向大样本估计量收缩）。
• 模拟结果表明，惩罚参数的插补估计量优于基于Oracle的估计量，表明其具有实际优势。
• 当偏差较大时，数据增强估计量的性能仍接近仅使用小样本的估计量，仅损失少量效率。
• 该方法实现了类似矩阵Oracle的改进，解释了其在高维下优于经典James-Stein收缩方法的原因。