[论文解读] Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares

Rong Zhu|arXiv (Cornell University)|Mar 2, 2018

Sparse and Compressive Sensing TechniquesEngineering被引用 22

一句话总结

本文提出梯度采样方法，一种用于最小二乘问题的自适应重要性采样方法，该方法基于梯度值，结合输入数据和响应变量计算采样概率。通过将计算时间减少至 O(nd) 并实现更紧致的误差界，该方法在合成数据集和真实数据集上的统计效率与计算速度均优于基于杠杆值的采样和均匀采样方法。

ABSTRACT

In modern data analysis, random sampling is an efficient and widely-used strategy to overcome the computational difficulties brought by large sample size. In previous studies, researchers conducted random sampling which is according to the input data but independent on the response variable, however the response variable may also be informative for sampling. In this paper we propose an adaptive sampling called the gradient-based sampling which is dependent on both the input data and the output for fast solving of least-square (LS) problems. We draw the data points by random sampling from the full data according to their gradient values. This sampling is computationally saving, since the running time of computing the sampling probabilities is reduced to O(nd) where n is the full sample size and d is the dimension of the input. Theoretically, we establish an error bound analysis of the general importance sampling with respect to LS solution from full data. The result establishes an improved performance of the use of our gradient- based sampling. Synthetic and real data sets are used to empirically argue that the gradient-based sampling has an obvious advantage over existing sampling methods from two aspects of statistical efficiency and computational saving.

研究动机与目标

• 为解决现代数据分析中大规模最小二乘问题带来的计算负担。
• 克服均匀采样和基于杠杆值采样方法的局限性，后者忽略响应变量信息并导致高计算成本。
• 开发一种结合输入和输出数据的采样方法，以提升统计效率并减少计算时间。
• 为一般重要性采样建立非渐近误差界，从而为所提方法提供理论性能保证。

提出的方法

• 该方法基于最小二乘解的初步估计，利用损失函数关于参数的梯度计算采样概率。
• 采样概率与每个数据点梯度向量的幅值成正比，使其对输入特征和响应值均具有响应性。
• 该算法将计算采样概率的时间减少至 O(nd)，显著快于需要 SVD 或随机 SVD 的基于杠杆值的方法。
• 采用基于梯度值导出的非均匀概率的重要性采样，构建子采样最小二乘问题。
• 理论分析推导出在一般重要性采样下最小二乘解的非渐近误差界，表明该方法具有更优的性能保证。
• 将该方法扩展至真实世界和合成数据集，以实证验证其在统计效率和计算性能方面的优势。

实验结果

研究问题

• RQ1 将响应变量信息纳入采样概率是否能提升最小二乘估计的统计效率？
• RQ2 与基于杠杆值的采样相比，基于梯度的采样是否能在保持或提升解精度的同时降低计算成本？
• RQ3 能否为最小二乘问题中的重要性采样建立非渐近误差界？其与现有误差界相比如何？
• RQ4 在实际应用中，基于梯度的采样在不同数据分布和样本规模下的性能表现如何？
• RQ5 所提方法能否如理论预测的那样，实现接近最小误差界的最小二乘解？

主要发现

• 基于梯度的采样将计算采样概率的时间减少至 O(nd)，相较于基于杠杆值的采样具有显著的计算优势。
• 理论分析为重要性采样建立了非渐近误差界，表明基于梯度的采样几乎可达到最小可能的误差界。
• 在合成数据集和真实数据集上的实证结果表明，基于梯度的采样在统计效率上优于基于杠杆值和均匀采样的方法。
• 该方法在平衡子样本大小与统计精度方面表现更优，其性能由非渐近误差界支持。
• 当初步估计接近真实解时，基于梯度方法的采样方差趋近理论最小值，如 σ²_b(π⁰) − σ²_b(πᵉ) = o_p(1) 所示。
• 该方法实现了高概率误差界，形式为 Pr{||β̃ − β|| ≤ C₁r⁻¹ᐟ² + C₂r⁻¹} ≥ 1 − δ，其中 C₁ 和 C₂ 依赖于数据和置信水平。