[论文解读] Laplacian Support Vector Machines Trained in the Primal

Stefano Melacci, Mikhail Belkin|ArXiv.org|Sep 29, 2009

Machine Learning and Algorithms参考文献 32被引用 317

一句话总结

该论文提出在原始形式中通过带提前停止的预处理共轭梯度法（PCG）训练拉普拉斯支持向量机（LapSVMs），将训练复杂度从 O(n³) 降低至 O(n²)，并实现单步优化。该方法在显著更短时间内达到与最优解相当的准确率，克服了对偶形式的局限性，并提升了大规模数据集的可扩展性。

ABSTRACT

In the last few years, due to the growing ubiquity of unlabeled data, much effort has been spent by the machine learning community to develop better understanding and improve the quality of classifiers exploiting unlabeled data. Following the manifold regularization approach, Laplacian Support Vector Machines (LapSVMs) have shown the state of the art performance in semi--supervised classification. In this paper we present two strategies to solve the primal LapSVM problem, in order to overcome some issues of the original dual formulation. Whereas training a LapSVM in the dual requires two steps, using the primal form allows us to collapse training to a single step. Moreover, the computational complexity of the training algorithm is reduced from O(n^3) to O(n^2) using preconditioned conjugate gradient, where n is the combined number of labeled and unlabeled examples. We speed up training by using an early stopping strategy based on the prediction on unlabeled data or, if available, on labeled validation examples. This allows the algorithm to quickly compute approximate solutions with roughly the same classification accuracy as the optimal ones, considerably reducing the training time. Due to its simplicity, training LapSVM in the primal can be the starting point for additional enhancements of the original LapSVM formulation, such as those for dealing with large datasets. We present an extensive experimental evaluation on real world data showing the benefits of the proposed approach.

研究动机与目标

• 解决对偶形式 LapSVM 训练中计算成本高和两步训练过程的问题。
• 通过直接求解原始问题，实现 LapSVM 的单步优化。
• 利用预处理共轭梯度法将训练时间与复杂度从 O(n³) 降低至 O(n²)。
• 基于稳定性或验证性能开发有效的提前停止准则，用于近似解。
• 提升可扩展性，支持半监督设置下的增量学习或大规模学习。

提出的方法

• 直接在原始形式中求解 LapSVM 优化问题，而非对偶形式，从而对所有训练样本（有标签和无标签）实现统一优化。
• 应用预处理共轭梯度法（PCG）高效求解原始问题，利用核矩阵作为预处理子，且无需额外开销。
• 基于无标签数据上的预测稳定性或有标签验证集上的性能，采用提前停止策略以尽早终止迭代。
• 对比牛顿法与 PCG 在原始 LapSVM 训练中的表现，发现 PCG 更高效，因其每轮迭代成本更低且可扩展性更好。
• 实现单步训练流程，避免原始对偶形式中必需的对偶到原始转换步骤。
• 将 LapSVM 的内在范数正则化整合到优化过程中，稳定收敛过程，并实现低精度损失的提前停止。

实验结果

研究问题

• RQ1 在原始形式中训练 LapSVM 是否能将计算复杂度从 O(n³) 降低至 O(n²)？
• RQ2 直接求解原始问题是否能消除对两步对偶到原始转换的需求？
• RQ3 基于无标签数据或验证数据稳定性的提前停止策略，是否能获得接近最优准确率且训练时间显著减少的解？
• RQ4 LapSVM 中的内在范数正则化如何影响迭代求解器的收敛行为和停止条件调优？
• RQ5 原始形式是否能支持未来改进，如增量学习或更稀疏的核展开？

主要发现

• 使用 PCG 在原始形式中训练 LapSVM 将计算复杂度从 O(n³) 降低至 O(n²)，显著提升可扩展性。
• 所提出的带提前停止的 PCG 方法在准确率上与最优解相当，且在 MNIST3VS8 等大规模数据集上训练时间最多减少 95%。
• 在 MNIST3VS8 数据集上，基于稳定性的提前停止 PCG 方法训练时间为 2.11 秒（±0.06），而牛顿法需 2824.17 秒。
• 基于验证的停止策略在 MNIST3VS8 上平均仅需 110 次迭代，达到 5.58% 错误率，且计算成本极低。
• LapSVM 中的内在范数正则化稳定了优化过程，使提前停止时精度损失可忽略。
• 原始形式可通过迭代次数直接控制近似质量，克服了对偶近似与最终解之间关系间接的缺陷。