[论文解读] Improving Efficiency of SVM k-fold Cross-validation by Alpha Seeding

Zeyi Wen, Bin Li+4 more|UWA Profiles and Research Repository (UWA)|Nov 23, 2016

Anomaly Detection Techniques and Applications参考文献 17被引用 6

一句话总结

本文提出三种 alpha 初始化算法，通过重用第 h 轮折叠中的支持向量权重（alpha 值）来初始化第 (h+1) 轮折叠，从而加速 SVM 的 k 折交叉验证。由于连续折叠之间具有高度相似性（超过 80% 的训练实例共享），该方法显著减少了训练时间，同时保持与标准 LibSVM 交叉验证相同的准确率，在 k=100 的大规模情况下实现了最高 32 倍的加速。

ABSTRACT

The k-fold cross-validation is commonly used to evaluate the effectiveness of SVMs with the selected hyper-parameters. It is known that the SVM k-fold cross-validation is expensive, since it requires training k SVMs. However, little work has explored reusing the h-th SVM for training the (h+1)-th SVM for improving the efficiency of k-fold cross-validation. In this paper, we propose three algorithms that reuse the h-th SVM for improving the efficiency of training the (h+1)-th SVM. Our key idea is to efficiently identify the support vectors and to accurately estimate their associated weights (also called alpha values) of the next SVM by using the previous SVM. Our experimental results show that our algorithms are several times faster than the k-fold cross-validation which does not make use of the previously trained SVM. Moreover, our algorithms produce the same results (hence same accuracy) as the k-fold cross-validation which does not make use of the previously trained SVM.

研究动机与目标

• 解决 SVM 中 k 折交叉验证的高计算成本问题，该问题需要训练 k 个独立模型。
• 克服在连续折叠中重新从头开始训练的低效性，尤其是在连续折叠共享大量训练数据的情况下。
• 开发一种方法，将第 h 轮折叠的支持向量权重（alpha 值）重用于初始化第 (h+1) 轮折叠的优化过程，以加快训练收敛速度。
• 确保所提方法在大幅减少训练时间的同时，保持与标准 k 折交叉验证相同的模型准确率。
• 设计一种高效的初始化策略，避免因 alpha 值初始化不佳而导致性能下降。

提出的方法

• 提出三种渐进式算法——ATO、MIR 和 SIR——基于 alpha 初始化，利用第 h 轮折叠的 alpha 值来初始化第 (h+1) 轮折叠的优化过程。
• 利用 SVM 的最优性条件，基于第 h 轮折叠的解来估计第 (h+1) 轮折叠的最优 alpha 值。
• 采用共享实例假设：在折叠之间重叠的训练实例的 alpha 值被保留或根据核函数相似性进行调整。
• 引入一种替换机制，将第 h 轮折叠中过时的支持向量替换为第 (h+1) 轮折叠中的新实例，并动态重新分配 alpha 值。
• 实现一种快速初始化步骤，避免完全重新初始化，仅聚焦于新添加或移除的实例，以减少开销。
• 使用序列最小优化（SMO）作为底层求解器，尽管该方法可推广至其他 SVM 求解器。

实验结果

研究问题

• RQ1 能否有效重用先前训练的 SVM 折叠中的 alpha 值，以加速 k 折交叉验证中下一轮折叠的训练？
• RQ2 如何基于第 h 轮折叠的解，高效且准确地初始化第 (h+1) 轮折叠的 alpha 值，同时避免收敛性或准确率的下降？
• RQ3 k 值的变化对 alpha 初始化带来的性能增益有何影响，特别是在 k 较大时（如 k=100）？
• RQ4 alpha 初始化是否保持与标准 k 折交叉验证相同的模型准确率，还是引入了近似误差？
• RQ5 所提方法是否能在保持与 diverse 数据集上完全一致结果的前提下，实现相对于 LibSVM 的显著加速？

主要发现

• 当 k=100 时，所提出的 SIR 算法在 k 折交叉验证中训练速度最高可达 LibSVM 的 32 倍，尤其在 Madelon 数据集上表现突出。
• 当 k=10 时，SIR 算法在所有测试数据集上均比 LibSVM 快数倍，且性能提升稳定。
• SIR 算法在所有数据集上均保持与 LibSVM 相同的准确率，证实加速过程未损害模型质量。
• 当 k > 2 时，该方法尤其有效，因为连续折叠间共享了大量训练实例（k=10 时超过 80%），从而实现了高效的重用。
• alpha 初始化过程的效率足以抵消任何开销，即使在 k 较大时也能实现净时间节省。
• 实验结果证实，所提方法在速度和可扩展性方面均优于 LibSVM，尤其在 k 较大和高维数据集上表现更优。