[论文解读] Differentiable Compositional Kernel Learning for Gaussian Processes

Shengyang Sun, Guodong Zhang+4 more|arXiv (Cornell University)|Jun 12, 2018

Gaussian Processes and Bayesian Inference参考文献 27被引用 29

一句话总结

本文提出神经核网络（NKN），一种用于高斯过程的可微分、组合式核函数族，可通过梯度下降实现端到端训练。通过采用有效的核函数组合规则构建网络结构，NKN 实现了平稳核的通用近似，并在时间序列、纹理和贝叶斯优化任务中展现出强大的模式发现与外推能力，优于先前的方法，包括谱混合模型和深度核学习。

ABSTRACT

The generalization properties of Gaussian processes depend heavily on the choice of kernel, and this choice remains a dark art. We present the Neural Kernel Network (NKN), a flexible family of kernels represented by a neural network. The NKN architecture is based on the composition rules for kernels, so that each unit of the network corresponds to a valid kernel. It can compactly approximate compositional kernel structures such as those used by the Automatic Statistician (Lloyd et al., 2014), but because the architecture is differentiable, it is end-to-end trainable with gradient-based optimization. We show that the NKN is universal for the class of stationary kernels. Empirically we demonstrate pattern discovery and extrapolation abilities of NKN on several tasks that depend crucially on identifying the underlying structure, including time series and texture extrapolation, as well as Bayesian optimization.

研究动机与目标

• 解决高斯过程中核函数选择的‘黑箱艺术’问题，该问题严重影响泛化能力和可解释性。
• 开发一种灵活、可微分的核架构，能够紧凑地表示复杂的组合核结构。
• 通过基于梯度的优化实现核函数的端到端训练，克服核文法方法中离散搜索的低效性。
• 证明所提出的架构即使在宽度有限的情况下，也能实现对平稳核类的通用近似。
• 在需要结构归纳偏差的任务中评估该方法在模式发现与外推方面的能力。

提出的方法

• NKN 是一种神经网络，其中每一层单元对应一个有效核函数，通过标准核函数组合规则（如加法、乘法、线性组合）构建。
• 原始核函数（如 RBF、周期性、线性、RQ）用作输入单元，更高级别的核函数通过可微分组合形成。
• 网络通过梯度下降进行训练，以边缘似然为优化目标，实现核结构的端到端优化。
• 该架构支持复数中间表示，仅最终输出取实部，从而提升模型的紧凑性与表达能力。
• 对于大规模数据集，采用变分推理方法通过变分自由能（VFE）将计算成本从 O(N³) 降低至 O(NM²)。
• 在纹理外推任务中，缺失的网格点被建模为具有近零噪声的隐变量观测，采用预处理共轭梯度法实现高效推理。

实验结果

研究问题

• RQ1 可微分神经网络架构是否能有效表示并学习高斯过程的复杂、组合式核结构？
• RQ2 所提出的神经核网络是否能实现对平稳核类的通用近似？
• RQ3 NKN 是否能比现有核学习方法更有效地发现并外推时间序列和纹理数据中的潜在函数模式？
• RQ4 使用复数中间核如何提升模型的紧凑性与性能？
• RQ5 NKN 是否能通过学习结构化、可解释的核归纳偏差，提升贝叶斯优化中的样本效率？

主要发现

• NKN 在回归基准测试中达到最先进性能，优于标准 RBF 核和谱混合核。
• 在时间序列和纹理外推任务中，NKN 成功发现并泛化了复杂模式，如周期性与平方根缩放规律，如在合成二维函数外推中所示。
• 在贝叶斯优化中，NKN 展现出卓越的样本效率，尤其在非加性函数（如变换后的 Styblinski-Tang 函数）上，得益于其学习输入相关结构的能力。
• 即使宽度有限，该模型仍能实现对平稳核的通用近似，类似于前馈网络中的通用近似性质。
• 使用复数中间表示显著减少了表示相同核函数所需的参数数量，提升了模型紧凑性。