[论文解读] Kernel machines with two layers and multiple kernel learning

Francesco Dinuzzo|arXiv (Cornell University)|Jan 15, 2010

Neural Networks and Applications参考文献 51被引用 12

一句话总结

本文提出了一种两层核机器框架，通过表示定理使经典核方法得到推广，实现了核函数与预测器的联合学习。研究表明，两层结构等价于使用数据自适应核的单层核机器，进而提出RLS2——一种计算高效的多核学习方法，在多种学习任务中达到最先进性能。

ABSTRACT

In this paper, the framework of kernel machines with two layers is introduced, generalizing classical kernel methods. The new learning methodology provide a formal connection between computational architectures with multiple layers and the theme of kernel learning in standard regularization methods. First, a representer theorem for two-layer networks is presented, showing that finite linear combinations of kernels on each layer are optimal architectures whenever the corresponding functions solve suitable variational problems in reproducing kernel Hilbert spaces (RKHS). The input-output map expressed by these architectures turns out to be equivalent to a suitable single-layer kernel machines in which the kernel function is also learned from the data. Recently, the so-called multiple kernel learning methods have attracted considerable attention in the machine learning literature. In this paper, multiple kernel learning methods are shown to be specific cases of kernel machines with two layers in which the second layer is linear. Finally, a simple and effective multiple kernel learning method called RLS2 (regularized least squares with two layers) is introduced, and his performances on several learning problems are extensively analyzed. An open source MATLAB toolbox to train and validate RLS2 models with a Graphic User Interface is available.

研究动机与目标

• 通过引入两层架构，推广经典核方法，实现核函数与预测器的联合学习。
• 通过表示定理建立理论基础，证明最优两层网络在每一层均为核函数的有限线性组合。
• 形式化多层架构与多核学习之间的联系，特别是当第二层为线性时的情形。
• 提出并分析RLS2，一种具有两层结构的新型正则化最小二乘法，实现高效多核学习。
• 在真实世界数据集（包括基因组数据）上展示RLS2的有效性，并提供带图形界面的开源MATLAB工具箱。

提出的方法

• 提出两层函数架构：$ f = f_2 \circ f_1 $，其中 $ f_1: X \to Z $，$ f_2: Z \to Y $，且 $ Z $ 与 $ Y $ 为希尔伯特空间。
• 推导表示定理，证明最优 $ f_1 $ 与 $ f_2 $ 为再生核希尔伯特空间（RKHS）中核函数的有限线性组合。
• 表明两层架构等价于使用学习得到的核函数的单层核机器，实现数据驱动的核选择。
• 聚焦于第二层 $ f_2 $ 为线性的情形，导出等价于多核学习（MKL）的正则化框架。
• 提出RLS2，一种两步优化过程，交替求解线性系统与约束最小二乘问题。
• 采用凸优化公式，引入矩阵分式函数 $ z^T R^rown z $，确保联合凸性与可计算性。

实验结果

研究问题

• RQ1 即使假设空间为无限维，是否仍可为两层核机器建立表示定理？
• RQ2 两层核机器框架与经典单层核方法及多核学习之间有何关系？
• RQ3 两层架构与单层核学习在计算与理论层面的等价性如何？
• RQ4 能否从两层框架中推导出一种简单、高效且有效的多核学习方法？
• RQ5 与现有方法相比，所提出的RLS2方法在真实世界学习问题中实现了多大的性能提升？

主要发现

• 两层核机器的表示定理成立，证明最优解为每一层核函数的有限线性组合。
• 两层架构在数学上等价于使用数据自适应核的单层核机器，通过网络训练实现核学习。
• 多核学习方法被证明是第二层为线性时的两层模型的特例。
• RLS2在多种学习任务中实现最先进的一般化性能，包括基因组数据的多分类任务。
• RLS2的两步优化过程计算高效，交替求解线性系统与约束最小二乘问题。
• 提供带图形界面的开源MATLAB工具箱，用于RLS2模型的训练与验证，提升可复现性与可用性。