[论文解读] Active Sampler: Light-weight Accelerator for Complex Data Analytics at Scale

Jinyang Gao, H. V. Jagadish+1 more|arXiv (Cornell University)|Dec 12, 2015

Machine Learning and Algorithms参考文献 27被引用 14

一句话总结

本文提出 Active Sampler，一种轻量级、向量化采样方法，通过优先选择梯度幅值较高（即具有更高学习价值）的训练样本，加速随机梯度下降（SGD）训练，从而在支持向量机（SVM）、特征选择和深度学习任务中，将训练迭代次数减少 1.6–2.2×，同时保持相近的模型性能。

ABSTRACT

Recent years have witnessed amazing outcomes from "Big Models" trained by "Big Data". Most popular algorithms for model training are iterative. Due to the surging volumes of data, we can usually afford to process only a fraction of the training data in each iteration. Typically, the data are either uniformly sampled or sequentially accessed. In this paper, we study how the data access pattern can affect model training. We propose an Active Sampler algorithm, where training data with more "learning value" to the model are sampled more frequently. The goal is to focus training effort on valuable instances near the classification boundaries, rather than evident cases, noisy data or outliers. We show the correctness and optimality of Active Sampler in theory, and then develop a light-weight vectorized implementation. Active Sampler is orthogonal to most approaches optimizing the efficiency of large-scale data analytics, and can be applied to most analytics models trained by stochastic gradient descent (SGD) algorithm. Extensive experimental evaluations demonstrate that Active Sampler can speed up the training procedure of SVM, feature selection and deep learning, for comparable training quality by 1.6-2.2x.

研究动机与目标

• 解决基于 SGD 的训练中，均匀采样或顺序采样效率低下的问题，避免大量迭代浪费在易于分类或冗余的样本上。
• 通过聚焦于具有更高学习价值的数据点，特别是靠近分类边界的样本，提升训练速度与收敛性。
• 开发一种轻量级、正交的加速器，可无缝集成至现有基于 SGD 的模型中，而无需修改其核心优化逻辑。
• 从理论上和实证上验证：采样频率与梯度幅值成正比，可最小化方差并优化收敛速度。

提出的方法

• 提出一种加权采样策略，其中每个训练样本被选中的概率与其梯度幅值成正比，确保高影响力样本优先被采样。
• 理论上证明，通过重加权梯度，Active Sampler 正确地最小化原始经验风险目标，即使在存在采样偏差的情况下，也能保持模型准确率。
• 证明 Active Sampler 在所有加权采样方法中达到最低可能的方差，收敛稳定性优于均匀采样。
• 实现一种轻量级、向量化的软件栈，可高效地在大规模场景下计算并应用基于梯度的采样频率。
• 将 Active Sampler 作为即插即用的加速器，集成至任意基于 SGD 的模型中，包括 SVM、特征选择和深度神经网络。
• 将梯度幅值作为信息增益的代理指标，假设梯度较大的样本对模型优化的贡献更大。

实验结果

研究问题

• RQ1 是否可以通过优先采样高梯度样本的采样策略，在不降低模型质量的前提下，显著减少 SGD 训练中的迭代次数？
• RQ2 是否存在理论上最优的采样分布，可最小化随机梯度的方差？该分布能否在大规模场景下高效实现？
• RQ3 在收敛速度与稳定性方面，Active Sampler 与均匀采样及其他方差缩减技术相比表现如何？
• RQ4 所提出的方法能否在多种通过 SGD 训练的机器学习模型上实现泛化，包括线性模型与深度网络？
• RQ5 在实际应用中，维护与应用基于梯度的采样频率会带来多大的性能开销？

主要发现

• 与均匀采样相比，Active Sampler 在 SVM、特征选择和深度学习模型中均将训练迭代次数减少了 1.6–2.2×。
• 该方法在所有加权采样策略中达到最低可能的方差，实现更稳定且更快的收敛。
• 实验结果证实，Active Sampler 在显著减少训练时间的同时，保持了与均匀采样相近的模型准确率。
• 当数据贡献高度偏斜时（如在数据不平衡或边界敏感的学习任务中），方差缩减效果最为显著。
• 轻量级向量化实现带来的运行时开销极低，使其适用于真实世界的大规模分析工作负载。
• Active Sampler 与现有优化技术正交，可与动量法或自适应学习率等方法结合，进一步加速训练。