[论文解读] Localized Multiple Kernel Learning---A Convex Approach

Yunwen Lei, Alexander Binder+2 more|arXiv (Cornell University)|Jun 14, 2015

Face and Expression Recognition参考文献 42被引用 7

一句话总结

该论文提出了一种基于预计算聚类结构的局部化多核学习（LMKL）的凸优化方法，实现了样本自适应的核权重分配，并通过Rademacher复杂度分析建立了泛化保证。与全局及非凸局部MKL方法相比，该方法在剪接位点检测任务中实现了最高达+5%的准确率提升。

ABSTRACT

We propose a localized approach to multiple kernel learning that can be formulated as a convex optimization problem over a given cluster structure. For which we obtain generalization error guarantees and derive an optimization algorithm based on the Fenchel dual representation. Experiments on real-world datasets from the application domains of computational biology and computer vision show that convex localized multiple kernel learning can achieve higher prediction accuracies than its global and non-convex local counterparts.

研究动机与目标

• 解决现有非凸局部化多核学习（MKL）方法缺乏泛化误差界的问题。
• 为基于预计算聚类结构的局部化MKL开发一种凸优化框架，实现样本自适应的核权重分配。
• 通过避免非凸优化的陷阱（如局部极小值和结果不一致）实现高效且可复现的学习。
• 利用Rademacher复杂度理论建立理论泛化性能边界，揭示聚类隶属度平滑性与误差控制之间的关系。
• 在真实世界数据集上，实证验证该方法在预测准确率上优于全局MKL和非凸局部MKL基线方法。

提出的方法

• 将局部化MKL表述为基于给定聚类结构的凸优化问题，以实现理论保证。
• 利用Fenchel对偶性推导出求解该凸问题的高效优化算法。
• 通过依赖聚类隶属度的门控函数定义核权重，实现核贡献的局部自适应。
• 采用Rademacher复杂度推导大偏差界，表明聚类分配的平滑性可降低泛化误差。
• 通过核技巧实现算法，避免显式特征表示，每轮迭代时间复杂度为$O(n^2M)$。
• 使用统一核上的核k-means生成CLMKL和HLMKL的聚类，并在原始特征不可用时，使用相同核定义门控模型。

实验结果

研究问题

• RQ1 能否开发一种局部化多核学习的凸优化形式，以确保具有理论保证的泛化性能？
• RQ2 聚类隶属度分配的平滑性如何影响局部化MKL中的泛化误差？
• RQ3 凸局部化MKL能否在预测准确率上超越全局MKL和非凸局部MKL？
• RQ4 与现有非凸实现相比，所提出的凸LMKL算法在计算效率上如何？
• RQ5 所提出的方法是否能保持可复现性，并避免非凸优化中局部极小值的陷阱？

主要发现

• 所提出的凸局部化MKL在剪接位点检测任务中，相比非凸局部MKL和全局MKL基线，预测准确率最高提升+5%。
• 泛化误差受聚类隶属度分配平滑性的控制，该关系通过Rademacher复杂度界形式化表达。
• 该算法每轮迭代需$O(n^2M)$次运算，显著快于Gönen和Alpaydin原始非凸方法的$O(n^2M^2d)$复杂度。
• 在蛋白质折叠预测和视觉图像分类任务上的实证结果表明，该方法在$\ extbackslash{}ell_p$-范数MKL和非凸LMKL上均表现出一致的性能提升。
• 由于凸性，该方法实现了可复现的结果，避免了非凸局部极小值带来的不稳定性与结果波动。
• 在多个数据集和任务中（包括计算生物学与计算机视觉）均观察到性能增益，且通过交叉验证实现了稳健的参数调优。