[论文解读] L2 Regularization for Learning Kernels

Corinna Cortes, Mehryar Mohri+1 more|arXiv (Cornell University)|May 9, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用 363

一句话总结

本文为岭回归中的核函数学习提出L2正则化，通过构建高效迭代算法来优化基核的非负线性组合。理论上证明，L2正则化可保持或提升性能——尤其在大规模核集合下，其可扩展性和稳定性优于L1正则化，理论稳定性界仅比标准核岭回归多出一个O(√p/m)的加法项。

ABSTRACT

The choice of the kernel is critical to the success of many learning algorithms but it is typically left to the user. Instead, the training data can be used to learn the kernel by selecting it out of a given family, such as that of non-negative linear combinations of p base kernels, constrained by a trace or L1 regularization. This paper studies the problem of learning kernels with the same family of kernels but with an L2 regularization instead, and for regression problems. We analyze the problem of learning kernels with ridge regression. We derive the form of the solution of the optimization problem and give an efficient iterative algorithm for computing that solution. We present a novel theoretical analysis of the problem based on stability and give learning bounds for orthogonal kernels that contain only an additive term O(pp/m) when compared to the standard kernel ridge regression stability bound. We also report the results of experiments indicating that L1 regularization can lead to modest improvements for a small number of kernels, but to performance degradations in larger-scale cases. In contrast, L2 regularization never degrades performance and in fact achieves significant improvements with a large number of kernels.

研究动机与目标

• 为解决机器学习中的核选择挑战，其中核的选择对性能有决定性影响，但通常由用户指定。
• 探索使用L2正则化而非L1或迹约束，从一组非负线性组合的基核中学习核函数。
• 为回归任务中的L2正则化核学习开发一种高效优化算法。
• 提供L2正则化核学习的新型理论分析，涵盖稳定性与泛化界。

提出的方法

• 将核学习问题表述为带有L2正则化核系数的岭回归优化问题。
• 推导出在L2正则化下最优核系数的闭式解。
• 提出一种迭代算法，高效计算解，利用核矩阵及其特征分解的结构。
• 采用新颖的理论框架分析稳定性，推导正交核的泛化界。
• 将L2正则化核学习的稳定性界与标准核岭回归进行比较，表明仅多出一个O(√p/m)的加法项。
• 在基准数据集上进行实验评估，比较不同基核数量下L2与L1正则化的性能。

实验结果

研究问题

• RQ1 在泛化性能和稳定性方面，L2正则化核学习与L1正则化相比如何？
• RQ2 L2正则化能否为多组基核的核学习提供稳定性与泛化性的理论保证？
• RQ3 基核数量对L2正则化核学习性能有何影响？
• RQ4 当基核数量增加时，L2正则化是否能防止性能下降，而L1正则化则不能？
• RQ5 L2正则化核学习的理论稳定性界与标准核岭回归相比如何？

主要发现

• L2正则化从不降低性能，在使用大量基核时可实现显著提升。
• L1正则化仅在基核数量较少时带来适度改进，但在大规模设置下导致性能下降。
• L2正则化核学习的理论稳定性界仅比标准核岭回归多出一个O(√p/m)的加法项。
• 所提出的迭代算法能高效计算L2正则化下的最优核系数。
• 实验结果证实，随着基核数量的增加，L2正则化始终优于L1正则化。
• 当基核数量增长时，该方法仍能保持强大的泛化性能，展现出优越的可扩展性。