[论文解读] Efficient Online Bootstrapping for Large Scale Learning

Zhen Qin, V. Petřı́ček+3 more|arXiv (Cornell University)|Dec 18, 2013

Machine Learning and Data Classification参考文献 6被引用 7

一句话总结

本文提出了一种在大规模学习中高效的在线自助采样方法，该方法在 Vowpal Wabbit 中实现，通过使用泊松分布采样示例权重，实现快速、可扩展的模型训练并支持不确定性估计。通过在每个自助采样轮次中仅重用每个示例一次，并将特征权重在内存中集中存储，该方法在保持模型平均带来预测精度提升的同时，相比批量自助采样实现了显著的速度提升。

ABSTRACT

Bootstrapping is a useful technique for estimating the uncertainty of a predictor, for example, confidence intervals for prediction. It is typically used on small to moderate sized datasets, due to its high computation cost. This work describes a highly scalable online bootstrapping strategy, implemented inside Vowpal Wabbit, that is several times faster than traditional strategies. Our experiments indicate that, in addition to providing a black box-like method for estimating uncertainty, our implementation of online bootstrapping may also help to train models with better prediction performance due to model averaging.

研究动机与目标

• 解决传统自助采样在大规模学习场景下的高计算成本问题。
• 在在线学习框架中实现可扩展的、实时的不确定性估计。
• 通过在线模型平均提升模型泛化能力，且不增加模型复杂度。
• 将自助采样作为 Vowpal Wabbit 中轻量级的归约操作集成，兼容多种学习算法。

提出的方法

• 使用泊松(1)分布采样来近似有放回重采样，将昂贵的批量重采样替换为在线采样。
• 通过将泊松(1)采样结果与原始示例权重相乘，应用重要性权重，从而高效处理非单位权重。
• 将自助采样实现为 Vowpal Wabbit 中的顶层归约操作，使其与基础学习算法解耦。
• 在内存中将各自助采样模型的特征权重集中存储，以最大化缓存效率并减少解析开销。
• 在每次训练遍历中仅处理每个示例一次，将其输入到 N 个在线学习器中，使用采样后的权重。
• 支持通过平均值（回归）或多数投票（分类）进行集成预测，并可扩展至分位数预测。

实验结果

研究问题

• RQ1 是否可以使在线自助采样足够高效，以适用于大规模学习，同时不损失准确性？
• RQ2 在实践中，在线自助采样是否通过模型平均提升模型泛化能力？
• RQ3 在线自助采样在大规模数据集上的计算成本与传统批量自助采样相比如何？
• RQ4 是否可以有效地将在线自助采样集成到现有在线学习系统（如 Vowpal Wabbit）中？
• RQ5 在线自助采样在多大程度上缓解了大规模特征空间中哈希碰撞的影响？

主要发现

• 在 Vowpal Wabbit 中，与传统批量自助采样相比，该方法在大规模数据集（如 RCV1）上实现了数倍的速度提升。
• 在 RCV1 数据集上，该方法降低了在线保留验证损失，表明模型稳定性与性能得到改善。
• 在测试集上，20 次自助采样下误差率为 5.37%，优于基线学习器的 6.01% 误差率。
• 即使在引入二次特征后，该方法的集成模型仍表现出更低的平方损失（0.0340），优于单模型（0.0409），显示出对特征扩展的鲁棒性。
• 即使在已充分调优的基线模型上，仅使用 4 次自助采样，误差率也从 4.64% 降低至 4.58%，性能增益持续存在。
• 由于单次遍历示例解析和高效的内存布局，该方法具有良好的可扩展性，使其适用于包含千兆特征的数据集。