[论文解读] Algorithms for Learning Kernels Based on Centered Alignment

Corinna Cortes, Mehryar Mohri+1 more|arXiv (Cornell University)|Mar 2, 2012

Machine Learning and ELM参考文献 38被引用 393

一句话总结

本文提出了基于中心对齐（centered alignment）这一核矩阵相似性度量的新型核学习算法，该方法在分类和回归任务中持续优于均匀组合法及以往的核学习方法。该方法通过高效的二次规划最大化对齐度，并引入了一种基于对齐度正则化的单阶段学习框架，实现了在基准数据集上的最先进性能。

ABSTRACT

This paper presents new and effective algorithms for learning kernels. In particular, as shown by our empirical results, these algorithms consistently outperform the so-called uniform combination solution that has proven to be difficult to improve upon in the past, as well as other algorithms for learning kernels based on convex combinations of base kernels in both classification and regression. Our algorithms are based on the notion of centered alignment which is used as a similarity measure between kernels or kernel matrices. We present a number of novel algorithmic, theoretical, and empirical results for learning kernels based on our notion of centered alignment. In particular, we describe efficient algorithms for learning a maximum alignment kernel by showing that the problem can be reduced to a simple QP and discuss a one-stage algorithm for learning both a kernel and a hypothesis based on that kernel using an alignment-based regularization. Our theoretical results include a novel concentration bound for centered alignment between kernel matrices, the proof of the existence of effective predictors for kernels with high alignment, both for classification and for regression, and the proof of stability-based generalization bounds for a broad family of algorithms for learning kernels based on centered alignment. We also report the results of experiments with our centered alignment-based algorithms in both classification and regression.

研究动机与目标

• 为解决核方法中核选择这一长期存在的挑战，即手动选择核函数限制了性能与泛化能力。
• 克服基于基核凸组合的核学习算法长期无法持续优于简单均匀组合基线的局限性。
• 提出一种理论基础扎实且实证有效的核学习框架，以中心对齐作为核矩阵间相似性度量。
• 为基于中心对齐的核学习算法提供泛化保证与稳定性边界，确保理论上的合理性。

提出的方法

• 本文引入中心对齐作为核矩阵间相似性度量，定义为经过中心化后的核矩阵的归一化内积。
• 将学习最大对齐度核的问题建模为凸优化问题，可简化为标准的二次规划（QP）。
• 提出一种单阶段算法，通过基于对齐度的正则化，联合学习核函数与预测器，将核学习与预测器学习整合为单一优化步骤。
• 理论分析包括针对核矩阵间中心对齐度的新型浓度不等式，证明其作为相似性度量的可靠性。
• 本文证明了在分类与回归设置下，高对齐度核存在有效预测器。
• 通过稳定性分析推导出泛化边界，表明基于对齐度的核学习算法具有有利的理论保证。

实验结果

研究问题

• RQ1 中心对齐能否作为可靠且有效的核学习相似性度量，优于现有方法？
• RQ2 通过最大化中心对齐度来学习核函数，是否能在分类与回归任务中实现优于均匀组合法的泛化能力与性能？
• RQ3 一种通过基于对齐度正则化的单阶段算法联合学习核函数与预测器，是否能优于两阶段方法？
• RQ4 基于中心对齐的核学习算法可建立哪些理论保证，如浓度不等式与泛化稳定性？
• RQ5 所提出的算法在多样化的数据集上与现有方法（如Lanckriet et al. (2004) 与 Cortes et al. (2009a)）相比，实证表现如何？

主要发现

• 所提出的基于对齐度的算法在所有测试的分类与回归数据集中持续优于均匀组合基线。
• alignf 方法在除 Spambase 外的所有数据集中显著优于均匀基线，并在除 Splice 外的所有数据集中超越了一阶段方法。
• 在回归任务中，align 方法在除 DVD 外的所有数据集中显著优于均匀组合与一阶段组合方法，而在 DVD 数据集中对 l2-krr 的改进不显著。
• 理论结果包括中心对齐度的浓度不等式，证明其统计稳定性；以及基于稳定性的泛化边界，支持该方法的可靠性。
• 实证结果证实，所提出算法实现了最先进性能，标志着核学习文献中首次在统一基线上实现对均匀组合基线的持续改进。