[论文解读] Ensembles of Kernel Predictors

Corinna Cortes, Mehryar Mohri+1 more|arXiv (Cornell University)|Feb 14, 2012

Control Systems and Identification参考文献 20被引用 5

一句话总结

本文提出通过使用凸组合与Lq-正则化的非负组合方式，构建基核的集成模型，以提升泛化性能。该方法基于Rademacher复杂度提供了理论保证，并在多个数据集上通过实证结果表明，集成方法优于学习核方法。

ABSTRACT

This paper examines the problem of learning with a finite and possibly large set of p base kernels. It presents a theoretical and empirical analysis of an approach addressing this problem based on ensembles of kernel predictors. This includes novel theoretical guarantees based on the Rademacher complexity of the corresponding hypothesis sets, the introduction and analysis of a learning algorithm based on these hypothesis sets, and a series of experiments using ensembles of kernel predictors with several data sets. Both convex combinations of kernel-based hypotheses and more general Lq-regularized nonnegative combinations are analyzed. These theoretical, algorithmic, and empirical results are compared with those achieved by using learning kernel techniques, which can be viewed as another approach for solving the same problem.

研究动机与目标

• 解决在有限个基核中选择最优核组合的挑战。
• 通过集成学习克服单一核或学习核方法的局限性，以提升泛化性能。
• 基于假设集的Rademacher复杂度，为集成核预测器提供理论依据。
• 开发并评估基于凸组合与Lq-正则化非负组合的核预测器学习算法。
• 在基准数据集上，将所提出的集成方法与学习核技术进行实证比较。

提出的方法

• 将假设集表述为基核预测器的凸组合，以实现高效优化与泛化。
• 引入Lq-正则化的非负组合（q ≥ 1），以促进稀疏性并提升核选择的鲁棒性。
• 推导集成假设集的Rademacher复杂度边界，以提供理论泛化保证。
• 设计一种学习算法，在Lq-正则化约束下优化基核的组合权重。
• 在多个基准数据集上实现并评估该算法，采用交叉验证与标准核学习基线进行比较。
• 采用带正则化的经验风险最小化，以在集成框架中平衡模型复杂度与训练误差。

实验结果

研究问题

• RQ1 集成核预测器能否在泛化性能上优于单个核模型或学习核技术？
• RQ2 基核的凸组合与Lq-正则化组合如何影响泛化性能与模型稳定性？
• RQ3 能否基于Rademacher复杂度，为集成核预测器的泛化误差推导出理论保证？
• RQ4 正则化选择（如L1与L2）如何影响核组合的性能与稀疏性？
• RQ5 在真实世界数据集上，集成核预测器与最先进学习核方法相比表现如何？

主要发现

• 理论分析表明，集成假设集的Rademacher复杂度有界，提供了泛化保证。
• 实证结果表明，集成核预测器在多个基准数据集上持续优于学习核技术。
• Lq-正则化组合，特别是q=1（L1）时，相比凸组合，能生成更稀疏且通常更准确的核集成。
• 在所有评估的数据集中，所提集成方法的测试误差均低于单个核模型与学习核基线。
• 该算法能有效扩展至大规模基核集合，在保持计算效率的同时提升预测性能。
• 与单核预测器相比，集成模型的Rademacher复杂度边界更紧，支持其更优的泛化能力。