[论文解读] Generalized Spectral Kernels

Yves-Laurent Kom Samo, Stephen Roberts|arXiv (Cornell University)|Jun 7, 2015

Gaussian Processes and Bayesian Inference参考文献 20被引用 25

一句话总结

该论文提出了广义谱核——一类可 tractable 的核函数族，能够以任意精度近似任意连续有界核函数，无论其是否平稳。通过将谱表示扩展至包含奇异测度和连续测度，该方法能够学习函数的光滑性（如 Matérn 类似的正则性），并在参数数量更少的情况下，实现比现有谱核（包括谱混合核与稀疏谱核）更高的精度。

ABSTRACT

In this paper we propose a family of tractable kernels that is dense in the family of bounded positive semi-definite functions (i.e. can approximate any bounded kernel with arbitrary precision). We start by discussing the case of stationary kernels, and propose a family of spectral kernels that extends existing approaches such as spectral mixture kernels and sparse spectrum kernels. Our extension has two primary advantages. Firstly, unlike existing spectral approaches that yield infinite differentiability, the kernels we introduce allow learning the degree of differentiability of the latent function in Gaussian process (GP) models and functions in the reproducing kernel Hilbert space (RKHS) in other kernel methods. Secondly, we show that some of the kernels we propose require fewer parameters than existing spectral kernels for the same accuracy, thereby leading to faster and more robust inference. Finally, we generalize our approach and propose a flexible and tractable family of spectral kernels that we prove can approximate any continuous bounded nonstationary kernel.

研究动机与目标

• 开发一类核函数族，能够以任意精度近似任意连续有界核函数，包括非平稳核。
• 克服现有谱核的局限性，即假设无限可微性，无法学习潜在函数的光滑性。
• 在保持或提升推理速度与鲁棒性的前提下，减少实现高精度核近似的参数数量。
• 将谱核方法推广至非平稳性之外，实现对非平稳结构（如时间反转分数布朗运动）的有效建模。
• 提供一个理论基础坚实、灵活的核函数族，适用于高斯过程及其他核方法，而无需依赖手工设计的协方差函数。

提出的方法

• 利用 Bochner 定理将平稳核表示为谱测度，扩展该定理以包含连续与离散（奇异）成分。
• 提出一种广义谱核族，采用有限混合的谱分量，其中谱测度被建模为狄拉克函数质量与密度函数之和。
• 应用 Lebesgue 分解定理将谱测度分离为绝对连续部分与奇异部分，从而实现对光滑性与不连续性的灵活建模。
• 采用参数化形式的谱密度与离散质量，构建一个可计算的核函数族：$ k( au) = rac{1}{2} heta_0 + heta_1 ext{Re} ig( ext{tr}(oldsymbol{W} oldsymbol{D} oldsymbol{W}^T) ig) + heta_2 ext{tr}(oldsymbol{W} oldsymbol{D} oldsymbol{W}^T) $，其中 $ oldsymbol{D} $ 为谱权重的对角矩阵。
• 应用随机傅里叶特征及其非平稳扩展，实现可扩展的推理，支持高效的高斯过程回归与核近似。
• 通过在均匀网格上最小化目标核（如 IFBM）与近似广义谱核之间的平方误差，优化核参数。

实验结果

研究问题

• RQ1 是否存在一类可计算的核函数族，能够以任意精度近似任意连续有界核函数，包括非平稳核？
• RQ2 广义谱核是否能够学习高斯过程模型中潜在函数的光滑性（可微性），而现有谱核无法做到？
• RQ3 所提出的核函数是否能在更少参数下实现比谱混合核与稀疏谱核更高的精度？
• RQ4 广义谱核在近似非平稳核（如时间反转分数布朗运动）方面表现如何？
• RQ5 广义谱核的非平稳扩展是否可用于核方法中的可扩展推理？

主要发现

• 广义谱核在连续有界核空间中是可逼近的，意味着它们可以以任意精度近似任何此类核函数。
• 在气温异常数据集上，谱 Matérn 1/2 核实现了最低的 RMSE（1.28），优于谱混合核及其他竞争核函数。
• 在时间反转分数布朗运动核上，非平稳广义谱核的归一化 RMSE 低至 0.08（当 $ h = 0.2 $ 时），显著优于平稳替代方案（如 S-SE：0.22）。
• 仅使用 5 个谱分量，非平稳广义谱核即以高保真度近似了 IFBM 核，证明了该方法的高效性与表达能力。
• 该方法支持学习函数光滑性：Matérn 1/2 核被选为最优，表明潜在温度异常是连续的但不会更光滑。
• 广义谱核的非平稳扩展能够建模非对称、非平稳的相关结构（如 IFBM 中的结构），这是平稳核无法实现的。