[论文解读] Function-Space Distributions over Kernels

Gregory W. Benton, Wesley J. Maddox+3 more|arXiv (Cornell University)|Oct 29, 2019

Gaussian Processes and Bayesian Inference被引用 8

一句话总结

本文提出功能核学习（FKL），一种非参数贝叶斯方法，通过在谱密度上施加变换高斯过程，直接对核函数中的不确定性进行建模。通过在函数空间中操作，FKL 实现了灵活且可解释的核推断，在插值、外推和核恢复任务中表现优异，优于参数化核函数，且无需手动初始化或复杂调参。

ABSTRACT

Gaussian processes are flexible function approximators, with inductive biases controlled by a covariance kernel. Learning the kernel is the key to representation learning and strong predictive performance. In this paper, we develop functional kernel learning (FKL) to directly infer functional posteriors over kernels. In particular, we place a transformed Gaussian process over a spectral density, to induce a non-parametric distribution over kernel functions. The resulting approach enables learning of rich representations, with support for any stationary kernel, uncertainty over the values of the kernel, and an interpretable specification of a prior directly over kernels, without requiring sophisticated initialization or manual intervention. We perform inference through elliptical slice sampling, which is especially well suited to marginalizing posteriors with the strongly correlated priors typical to function space modelling. We develop our approach for non-uniform, large-scale, multi-task, and multidimensional data, and show promising performance in a wide range of settings, including interpolation, extrapolation, and kernel recovery experiments.

研究动机与目标

• 开发一种函数空间方法用于核学习，直接对核函数的不确定性进行建模，而非学习固定参数族的参数。
• 通过允许用户在函数空间中直接表达对核结构（如平滑性、周期性）的信念，实现对核函数的可解释先验设定。
• 消除核学习中对复杂初始化或人工干预的需求，这是参数化方法中常见的问题。
• 将该方法扩展至大规模、多维及多任务数据集，包括不规则采样和高维数据。
• 在多种设置下展示强大的实验性能，包括外推、插值和核恢复，使用统一框架。

提出的方法

• 将平稳核的谱密度建模为变换高斯过程，从而在函数空间中实现对核函数的非参数分布。
• 使用确定性变换（如逆傅里叶变换）将谱密度高斯过程映射为有效核函数，确保正定性。
• 通过椭圆切片采样进行推断，该方法能高效处理函数空间模型中典型的强相关先验。
• 通过在不同任务或输入维度间共享潜在高斯过程，将框架扩展至多任务和多维设置，实现结构化协方差学习。
• 在网格结构数据（如图像）中利用克罗内克结构，将推断复杂度从 O(N^3) 降低至 O(PN^{P/2})，从而实现大规模数据的可扩展性。
• 通过在输入维度上对核函数进行乘积分解，结合共享或独立的潜在高斯过程，建模复杂且高维的协方差结构。

实验结果

研究问题

• RQ1 非参数化、基于函数空间的谱密度先验是否能够实现灵活且可解释的核学习，而无需依赖参数族？
• RQ2 与最先进参数化核函数相比，该方法在分布外外推和核恢复任务中的泛化能力如何？
• RQ3 该方法在保持不确定性量化和预测准确性的同时，能在多大规模、多维及多任务数据集上实现可扩展性？
• RQ4 函数空间核学习方法是否能减少现有方法中常见的复杂超参数调优和初始化过程？
• RQ5 该方法是否能在真实世界数据（如纹理、气候时间序列）中揭示丰富且结构化的协方差模式，而无需对核形式施加先验假设？

主要发现

• 在 UCI 数据集上的插值和外推任务中，FKL 在平均 RMSE 上优于标准参数化核函数（RBF、ARD、Matérn）和谱混合核函数，且不确定性校准更优。
• 在机翼数据集上，FKL 能够为每个输入维度学习到不同且可解释的核函数，后验样本准确捕捉了真实底层结构和不确定性。
• 在多任务降水建模中，使用共享潜在高斯过程的 FKL 准确捕捉了地理上相似区域的季节性模式，提供了具有合适可信区间的可靠预测分布。
• 在 10,000 像素的钢板纹理图像上，FKL 有效外推了训练域外的纹理模式，而标准 RBF 核函数无法捕捉周期性结构。
• 该方法在无需复杂初始化的情况下即取得优异性能，与依赖初始化才能收敛的谱混合核函数形成鲜明对比。
• 椭圆切片采样在高度相关的函数空间先验上实现了高效的后验推断，支持所有实验设置下的稳健不确定性量化。