[论文解读] Optimal Sub-sampling with Influence Functions

Daniel Ting, Eric Brochu|arXiv (Cornell University)|Sep 6, 2017

Statistical Methods and Inference参考文献 4被引用 11

一句话总结

本文提出一种基于影响函数的最优子采样方法，用于从大规模数据集中选择能最大程度保持估计精度的数据点。通过将子采样视为对影响函数的最优均值估计，该方法实现了渐近最小方差，并在线性回归与分位数回归模型中均优于均匀采样、杠杆值采样和基于梯度的采样方法。

ABSTRACT

Sub-sampling is a common and often effective method to deal with the computational challenges of large datasets. However, for most statistical models, there is no well-motivated approach for drawing a non-uniform subsample. We show that the concept of an asymptotically linear estimator and the associated influence function leads to optimal sampling procedures for a wide class of popular models. Furthermore, for linear regression models which have well-studied procedures for non-uniform sub-sampling, we show our optimal influence function based method outperforms previous approaches. We empirically show the improved performance of our method on real datasets.

研究动机与目标

• 解决除线性回归外的一般统计模型中缺乏系统性、非均匀子采样方法的问题。
• 提出一种理论基础坚实的子采样方法，以最小化参数估计的渐近方差。
• 证明影响函数可作为统一框架，平衡子采样决策中残差与设计矩阵的影响。
• 展示所提方法在理论与实践中均优于现有方法（如杠杆值与基于梯度的采样）。
• 实现高效、任务特定的子采样，可应用于包括线性回归、分位数回归和广义线性模型在内的多种模型。

提出的方法

• 使用影响函数作为衡量每个数据点对估计量影响的指标，实现系统性子采样。
• 基于影响函数的大小制定子采样概率，从而实现最优泊松采样设计。
• 推导出正则化子采样过程，使其在相同期望样本量的所有设计中达到渐近最优方差。
• 通过显式分离残差与设计矩阵的影响，将该方法应用于线性回归、分位数回归和广义线性模型。
• 利用初步估计计算影响函数，并据此生成加权子样本，使估计精度损失最小化。
• 在完整矩阵求逆计算成本过高时，通过仅使用残差或简化杠杆估计实现高效近似，同时保持良好性能。

实验结果

研究问题

• RQ1 影响函数能否用于推导适用于广泛统计模型的最优、非均匀子采样概率？
• RQ2 与现有方法（如杠杆值与基于梯度的采样）相比，基于影响函数的子采样在估计精度方面表现如何？
• RQ3 基于影响函数的方法是否在方差上实现渐近最优性，相较于其他子采样设计？
• RQ4 残差与设计矩阵的影响在多大程度上共同影响最优子采样？能否有效平衡两者？
• RQ5 对影响函数的简单近似（如仅基于残差）是否仍能实现强经验性能，同时降低计算成本？

主要发现

• 基于影响函数的子采样方法在所有相同期望样本量的正则化泊松采样设计中，实现了渐近最小方差。
• 在 CASP 和 Online News Popularity 数据集上，该方法仅需均匀采样 1/3 至 1/2 的样本量，即可达到相同的系数估计误差。
• 在重尾分布的 Online News 数据集上线性最小二乘回归中，基于影响函数的方法显著优于均匀采样与杠杆值采样。
• 基于梯度的方法表现劣于仅基于残差的采样，可能是因为未进行标准化处理导致变量尺度差异问题。
• 近似的影响函数估计（如仅使用残差）表现良好且计算高效，尤其在无法进行完整矩阵求逆时更具优势。
• 基于影响函数的设计能有效平衡残差与设计矩阵的影响，而杠杆值方法忽略残差，基于梯度的方法则低估了中心区域高残差点的影响。