[论文解读] Deep Kernel Learning

Andrew Gordon Wilson, Zhiting Hu+2 more|arXiv (Cornell University)|Nov 6, 2015

Gaussian Processes and Bayesian Inference参考文献 31被引用 18

一句话总结

本文提出了一种可扩展的深度核学习方法，通过使用深度神经网络架构在应用谱混合核之前对输入进行变换，将深度神经网络与高斯过程相结合。该方法通过引入点、局部核插值以及克罗内克/托普利茨结构，实现了 O(n) 的训练复杂度和 O(1) 的预测复杂度，在包括一个包含 200 万个样本的数据集在内的多种数据集上，性能优于标准高斯过程和深度神经网络。

ABSTRACT

We introduce scalable deep kernels, which combine the structural properties of deep learning architectures with the non-parametric flexibility of kernel methods. Specifically, we transform the inputs of a spectral mixture base kernel with a deep architecture, using local kernel interpolation, inducing points, and structure exploiting (Kronecker and Toeplitz) algebra for a scalable kernel representation. These closed-form kernels can be used as drop-in replacements for standard kernels, with benefits in expressive power and scalability. We jointly learn the properties of these kernels through the marginal likelihood of a Gaussian process. Inference and learning cost $O(n)$ for $n$ training points, and predictions cost $O(1)$ per test point. On a large and diverse collection of applications, including a dataset with 2 million examples, we show improved performance over scalable Gaussian processes with flexible kernel learning models, and stand-alone deep architectures.

研究动机与目标

• 通过结合非参数灵活性与分层特征学习的优势，解决标准核方法和深度神经网络的局限性。
• 通过实现线性时间训练和常数时间预测，克服高斯过程通常为 O(n³) 的可扩展性瓶颈。
• 通过边际似然自动、端到端地学习表达性强的核结构，减少对手动超参数调优的依赖。
• 开发一种框架，使深度架构能够学习数据相关的、非欧几里得的相似性度量，从而在复杂、高维数据上提升性能。
• 在真实世界数据集上展示深度核学习的实际效用，包括大规模和具有挑战性的带间断性的回归任务。

提出的方法

• 使用深度前馈或卷积神经网络对谱混合核的输入进行变换，以学习复杂且数据自适应的表示。
• 应用局部核插值高效近似全核矩阵，降低计算成本的同时保持精度。
• 使用引入点压缩核表示，实现 O(n) 复杂度的可扩展推理与学习。
• 利用结构利用型代数（克罗内克与托普利茨）进一步加速核计算与存储。
• 通过高斯过程的边际似然，联合优化深度网络权重与核超参数，实现端到端学习。
• 以 KISS-GP 框架为基础，实现与标准 GP 推理兼容的可扩展、闭式核近似。

实验结果

研究问题

• RQ1 能否使用深度神经网络学习灵活且数据自适应的核函数，从而在泛化能力上超越标准参数化核函数？
• RQ2 如何在保持非参数表达能力的同时，将高斯过程的计算复杂度降低至 O(n)，以适用于大规模数据集？
• RQ3 深度核学习在多样化的回归与分类任务中，能在多大程度上超越独立的深度神经网络和可扩展高斯过程？
• RQ4 深度核学习能否有效建模复杂且具有间断性的函数（如阶跃函数），而标准核函数因平滑性假设而失效？
• RQ5 所学习的核结构在高维输入空间中如何揭示有意义的归纳偏置或数据表示？

主要发现

• 所提出的深度核学习模型实现了 O(n) 训练和 O(1) 预测复杂度，使在最多包含 200 万个样本的数据集上实现高效学习成为可能。
• 在 MNIST 数字大小回归任务中，采用卷积神经网络架构的 DKL 模型在准确率上优于标准 GP 和 DBN-GP 模型，并超越了独立的卷积神经网络。
• 在阶跃函数恢复任务中，DKL-SM 模型准确捕捉了间断性并提供了校准良好的不确定性估计，而标准 RBF 和 SM 核函数因平滑性约束而失败。
• 在一系列多样化的基准数据集上，该模型在性能上持续优于具有灵活核的可扩展高斯过程和独立的深度神经网络。
• 所学习的核结构揭示了输入空间中具有意义的数据相关变换，表明其在超越标准欧几里得或绝对距离度量方面实现了有效的度量学习。
• 通过边际似然的联合优化，实现了模型复杂度的自动校准，无需交叉验证或正则化，从而减少了用户干预。