[论文解读] A Unifying View of Multiple Kernel Learning

Marius Kloft, Ulrich Rückert+1 more|arXiv (Cornell University)|May 4, 2010

Sparse and Compressive Sensing Techniques参考文献 14被引用 21

一句话总结

本文提出了一种统一的多核学习（MKL）优化框架，通过引入双块范数正则化，将现有的方法——如$β$-范数MKL、弹性网络和块范数MKL——统一到单一准则下。该框架推导出一种模块化的对偶表示，支持高效平滑优化，并通过实证结果表明，$∞$-范数MKL在生物信息学和入侵检测任务中优于其他变体，且其最优泛化界与先前的最先进水平相当。

ABSTRACT

Recent research on multiple kernel learning has lead to a number of approaches for combining kernels in regularized risk minimization. The proposed approaches include different formulations of objectives and varying regularization strategies. In this paper we present a unifying general optimization criterion for multiple kernel learning and show how existing formulations are subsumed as special cases. We also derive the criterion's dual representation, which is suitable for general smooth optimization algorithms. Finally, we evaluate multiple kernel learning in this framework analytically using a Rademacher complexity bound on the generalization error and empirically in a set of experiments.

研究动机与目标

• 将多种多核学习（MKL）公式统一为单一、通用的优化准则。
• 推导MKL准则的对偶表示，以支持使用标准平滑求解器进行灵活且高效的优化。
• 通过一种适用于弹性网络和块范数MKL的新Rademacher复杂度集中界，分析泛化性能。
• 在生物信息学和入侵检测数据集上实证评估并比较MKL的不同变体。
• 确定非稀疏的$∞$-范数MKL在实际中是否优于稀疏及其他块范数变体。

提出的方法

• 将MKL建模为带有双块范数正则化的正则化风险最小化问题，推广$β$-范数、弹性网络和块范数方法。
• 推导出一种模块化的对偶表示，将损失与正则化项的贡献分离，支持灵活接入不同的凸损失函数。
• 采用平滑优化技术高效求解对偶问题，利用对偶目标函数的可分性。
• 将该框架应用于真实世界数据集：酵母启动子预测和网络入侵检测（HTTP流量）。
• 实现并比较多种MKL变体：$β$-范数MKL、不同$μ$值的弹性网络，以及$ p \in \{1, 4/3, 2, 4, \infty\} $的块范数MKL。
• 利用Rademacher复杂度推导出一个泛化界，该界与$β=1$和$β=4/3$时的最佳已知界一致。

实验结果

研究问题

• RQ1 所有主要MKL公式——$β$-范数、弹性网络和块范数——是否都能统一到单一优化准则下？
• RQ2 所提出的双块范数正则化是否能实现模块化且灵活的对偶优化框架？
• RQ3 该统一MKL框架的泛化性能如何？与先前的界相比表现如何？
• RQ4 $∞$-范数MKL在真实世界数据上的预测准确率是否优于其他MKL变体？
• RQ5 正则化选择（如$β$-范数、弹性网络）在实际中如何影响模型稀疏性与性能？

主要发现

• $∞$-范数MKL在启动子预测数据集上实现了87.67±0.09的最高预测准确率，优于$β=1$和$β=4/3$的块范数MKL。
• 在入侵检测数据集上，$∞$-范数MKL的AUC [0,0.1]达到99.68±0.09，为所有测试模型中的最高值。
• 弹性网络在$μ=0.1$时实现了99.46±0.13的AUC [0,0.1]，略优于$β=1$-范数MKL，并与$β=4/3$-范数MKL性能相当。
• 通过Rademacher复杂度推导出的泛化界与$β=1$和$β=4/3$时的最佳已知界一致，验证了该框架的理论稳健性。
• 实证结果表明，尽管$∞$-范数MKL是非稀疏的，但在两个数据集上均持续优于其他块范数变体。
• 该框架成功地将多种MKL方法统一于单一准则下，实现了对正则化策略的系统性比较。