[论文解读] Regularization Path of Cross-Validation Error Lower Bounds

Atsushi Shibagaki, Y. Suzuki+2 more|arXiv (Cornell University)|Feb 9, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用 5

一句话总结

本文提出了一种新颖的框架，用于计算交叉验证（CV）误差下限的正则化路径，从而为所选正则化参数的性能提供理论近似保证。通过推导CV误差关于正则化参数的下限，该方法使用户能够量化当前解与最优CV误差的接近程度，实证结果表明，该方法在合理的计算成本下高效且准确地识别出近似最优参数。

ABSTRACT

Careful tuning of a regularization parameter is indispensable in many machine learning tasks because it has a significant impact on generalization performances. Nevertheless, current practice of regularization parameter tuning is more of an art than a science, e.g., it is hard to tell how many grid-points would be needed in cross-validation (CV) for obtaining a solution with sufficiently small CV error. In this paper we propose a novel framework for computing a lower bound of the CV errors as a function of the regularization parameter, which we call regularization path of CV error lower bounds. The proposed framework can be used for providing a theoretical approximation guarantee on a set of solutions in the sense that how far the CV error of the current best solution could be away from best possible CV error in the entire range of the regularization parameters. We demonstrate through numerical experiments that a theoretically guaranteed a choice of regularization parameter in the above sense is possible with reasonable computational costs.

研究动机与目标

• 为解决当前正则化参数调优实践中缺乏理论保证的问题，这些方法通常依赖启发式策略且缺乏系统性指导。
• 提供一种计算高效的手段，用于量化给定解的CV误差与所有正则化参数中可能达到的最佳CV误差之间的接近程度。
• 无论解是如何获得的，仅通过有限组解即可识别出一个ε-近似正则化参数——即CV误差在全局最小CV误差的ε范围内。
• 将适用范围扩展至精确解与近似解，相比求解优化问题至完全最优，显著降低计算成本。

提出的方法

• 该框架利用从对偶间隙和基于边距的估计推导出的新颖解析下界，为每个正则化参数计算CV误差的下界。
• 通过在一系列正则化参数上评估该下界，构建正则化路径，形成一个分段函数，以追踪理论上的最小CV误差。
• 该方法可复用任何调优策略（如网格搜索、贝叶斯优化）所获得的现有解（精确或近似解），无需专用优化算法。
• 对于给定的期望近似精度ε，该算法可识别出一个正则化参数，其CV误差被保证在全局最小CV误差的ε范围内。
• 通过将各折的特定下界相加，该方法被扩展至k折交叉验证，从而获得总CV误差的全局下界。
• 采用路径追踪算法高效搜索正则化路径，停止条件基于上下界之间置信区间的大小。

实验结果

研究问题

• RQ1 我们能否为所选正则化参数的CV误差提供理论近似保证，以量化其与最优CV误差的距离？
• RQ2 如何在不将优化问题完全求解至最优的情况下，高效计算此类保证？
• RQ3 该框架能否同时适用于精确解与近似解？这如何影响计算效率与准确性？
• RQ4 识别一个ε-近似正则化参数的计算成本是多少？其随数据集大小和期望精度的变化趋势如何？
• RQ5 在稳定性、可扩展性及实际调优场景中的可用性方面，该方法与现有方法相比表现如何？

主要发现

• 该框架成功计算出CV误差下限的正则化路径，从而为任意给定正则化参数的性能提供理论近似保证。
• 当ε = 0.1时，即使真实最优参数未知，该方法仍能识别出CV误差被保证在最优值0.1范围内的解。
• 在较小数据集（D1–D5）上，该方法在数分钟内完成，计算成本随ε和数据集大小合理增长。
• 在较大数据集（D9和D10）上，使用精确解时ε = 0的计算耗时超过100小时，但ε > 0时仍具可行性。
• 使用近似解（op5）显著降低了计算成本——例如，D6在ε = 0.01时仅需17.16秒，而使用精确解（op4）则需31.17秒，同时保持了出色的近似质量。
• 该方法在实践中表现出强鲁棒性，所选的ε-近似参数在多个数据集和设置下始终能实现CV误差的低上界。