[论文解读] Learning with Hierarchical Gaussian Kernels

Ingo Steinwart, Philipp Thomann+1 more|arXiv (Cornell University)|Dec 2, 2016

Gaussian Processes and Bayesian Inference参考文献 3被引用 10

一句话总结

本文提出分层高斯核——通过迭代组合高斯核的加权和构建的核函数——在保留核方法统计优势的同时，模拟深度神经网络架构。该方法在支持向量机中实现通用逼近与普遍一致性，且在多个基准测试中优于标准支持向量机、随机森林、分层核学习以及深度神经网络，尤其在小规模组合与极少超参数调优条件下表现优异。

ABSTRACT

We investigate iterated compositions of weighted sums of Gaussian kernels and provide an interpretation of the construction that shows some similarities with the architectures of deep neural networks. On the theoretical side, we show that these kernels are universal and that SVMs using these kernels are universally consistent. We further describe a parameter optimization method for the kernel parameters and empirically compare this method to SVMs, random forests, a multiple kernel learning approach, and to some deep neural networks.

研究动机与目标

• 通过设计具有分层特征抽象能力的基于核的架构，弥合核方法与深度神经网络之间的差距。
• 提供一个理论基础坚实的通用核构造方法，保持统计一致性并减少用户依赖的超参数调优。
• 开发一种针对分层核结构的实用参数优化方法。
• 在多样化数据集上，通过实证验证该方法相较于支持向量机、随机森林、分层核学习与深度神经网络的性能。

提出的方法

• 该方法通过迭代组合前序层输出的加权和高斯核，构建分层高斯核，其中每一层将核函数应用于前一层的输出。
• 每一层核函数使用可学习带宽与权重的高斯核加权和，实现类似于深度网络的分层特征抽象。
• 理论分析证明，所得核族具有通用性，且使用该核的支持向量机具有普遍一致性。
• 提出一种基于梯度的参数优化算法，通过交叉验证调优核超参数，包括带宽与权重。
• 该方法使用双精度算术与分布式计算实现，以处理15个UCI与LIBSVM数据集上的计算密集型训练。
• 实验通过每数据集30次随机训练-测试划分，将该方法与支持向量机、随机森林、HKL与深度神经网络进行比较。

实验结果

研究问题

• RQ1 迭代组合的加权高斯核能否在学习中实现通用逼近与普遍一致性？
• RQ2 分层高斯核在真实世界数据集上的性能与标准支持向量机、随机森林及深度神经网络相比如何？
• RQ3 分层核结构在多大程度上优于现有多种核学习或深度网络方法，实现更好的泛化能力？
• RQ4 所提出的参数优化方法能否在无需人工干预的情况下有效调优核超参数？

主要发现

• 所提出的分层高斯核方法在15个数据集中的14个中获得第一或第二名，所有数据集上均优于支持向量机，且持续超越随机森林与深度神经网络。
• 在5个数据集上，该方法相较次优算法平均风险降低5%或以上，而随机森林为3个，深度神经网络仅1个。
• 仅在4个数据集上，该方法性能比最佳算法差10%，而随机森林为5个，深度神经网络为9个，表明其性能更稳定。
• 该方法优于文献[1]中提出的分层核学习（HKL）方法，后者在任一数据集上均未进入前两名，表明该方法在设计上存在局限性。
• 尽管训练时间较长（平均每次运行81分钟），该方法性能仍优于深度神经网络（平均每次运行45分钟，使用单精度算术）。
• 结果表明，分层核结构为复杂数据集提供了强大的归纳偏置，尤其在需要特征抽象时，且该方法在极少调优下具有良好的泛化能力。