[论文解读] Fast Cross-Validation via Sequential Testing

Tammo Krueger, Danny Panknin+1 more|arXiv (Cornell University)|Jun 11, 2012

Gaussian Processes and Bayesian Inference参考文献 53被引用 23

一句话总结

本文提出快速交叉验证序列检验（CVST），一种通过在递增的数据子集上顺序评估参数配置，并利用非参数统计检验提前剔除表现较差的候选方案，从而加速模型选择的方法。该方法将计算时间相比完整交叉验证最多减少120倍，且精度损失可忽略不计，通过序列分析保持了统计功效。

ABSTRACT

With the increasing size of today's data sets, finding the right parameter configuration in model selection via cross-validation can be an extremely time-consuming task. In this paper we propose an improved cross-validation procedure which uses nonparametric testing coupled with sequential analysis to determine the best parameter set on linearly increasing subsets of the data. By eliminating underperforming candidates quickly and keeping promising candidates as long as possible, the method speeds up the computation while preserving the capability of the full cross-validation. Theoretical considerations underline the statistical power of our procedure. The experimental evaluation shows that our method reduces the computation time by a factor of up to 120 compared to a full cross-validation with a negligible impact on the accuracy.

研究动机与目标

• 为解决大规模机器学习中完整网格搜索交叉验证带来的高计算成本问题。
• 开发一种自动化、统计上可靠的算法，避免对所有参数配置进行完全评估。
• 在保留识别最优参数集能力的同时，实现对表现不佳配置的早期终止。
• 尽管计算量减少，仍保持与完整交叉验证相当的统计功效。

提出的方法

• 该方法在逐步增加的数据子集上评估参数配置，从较小的初始样本开始。
• 在每一步中使用非参数统计检验比较配置，并识别出显著表现较差的配置以提前剔除。
• 引入安全区域机制，限制每个配置允许的失败次数，防止因随机波动而过早淘汰。
• 借鉴序列分析原理（Wald, 1947），动态调整停止标准，以适应性能趋势。
• 设置停止标准以监测最佳配置是否出现早期收敛，进一步减少计算量。
• 通过追踪矩阵和性能矩阵，记录配置在不同数据规模下的表现。

实验结果

研究问题

• RQ1 我们能否在不牺牲模型选择准确性的前提下，降低交叉验证的计算负担？
• RQ2 如何系统性地提前剔除表现较差的参数配置，同时保持统计可靠性？
• RQ3 使用递增数据子集对最优配置选择的收敛性有何影响？
• RQ4 如何调整序列检验以控制误差率，并防止过早淘汰可能最优的配置？

主要发现

• 所提出的CVST方法在真实世界和合成数据集上，相比完整交叉验证，计算时间最多减少120倍。
• 该方法保持了完整交叉验证的统计功效，对所选模型的准确性影响可忽略不计。
• 由于在递增子集上进行序列评估，即使仅使用完整数据集的一小部分，最优配置也能被一致识别。
• 安全区域机制有效防止了因数据量不足而过早淘汰可能随数据增加而改善的配置。
• 理论分析表明，在学习算法时间复杂度满足弱正则性条件的前提下，该方法保持渐近最优性。
• 通过推导所需步数的闭式近似，计算预算得到高效管理，确保方法在给定时间限制内运行。