[论文解读] Harmonizable mixture kernels with variational Fourier features

Zheyang Shen, Markus Heinonen+1 more|arXiv (Cornell University)|Oct 10, 2018

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文提出了一种新型的可调和混合核（HMK），这是一种基于广义谱表示推导出的表达能力强、可解释性强且非平稳的高斯过程核家族，并提出了变分傅里叶特征（VFF），一种跨域稀疏推理框架，可实现HMK的稳健学习。该方法在回归与分类任务中对非平稳模式的建模表现优异，相较于标准核函数，在捕捉局部结构及对太阳辐照度等复杂数据进行外推方面表现更优。

ABSTRACT

The expressive power of Gaussian processes depends heavily on the choice of kernel. In this work we propose the novel harmonizable mixture kernel (HMK), a family of expressive, interpretable, non-stationary kernels derived from mixture models on the generalized spectral representation. As a theoretically sound treatment of non-stationary kernels, HMK supports harmonizable covariances, a wide subset of kernels including all stationary and many non-stationary covariances. We also propose variational Fourier features, an inter-domain sparse GP inference framework that offers a representative set of 'inducing frequencies'. We show that harmonizable mixture kernels interpolate between local patterns, and that variational Fourier features offers a robust kernel learning framework for the new kernel family.

研究动机与目标

• 开发一种理论基础扎实、表达能力强的非平稳核家族，通过广义谱表示推广平稳核。
• 通过引入可调和核这一明确定义的非平稳协方差类，弥补现有非平稳谱核缺乏理论基础的不足。
• 提出变分傅里叶特征作为面向HMK的可扩展、跨域推理框架，实现高效且稳健的核学习。
• 通过核恢复、分类与回归实验，展示HMK在建模复杂非平稳数据模式方面的强大表达能力。

提出的方法

• 可调和混合核（HMK）通过广义谱密度的混合构建，利用广义傅里叶变换，能够建模广泛的非平稳协方差类。
• HMK源自可调和过程的广义谱表示，通过谱分量确保理论严谨性与可解释性。
• 引入变分傅里叶特征（VFF）作为频域中的诱导点，实现与HMK结合的跨域稀疏高斯过程推理。
• VFF框架在傅里叶域上采用变分近似，实现对诱导频率的高效优化，并提升泛化性能。
• 该方法采用随机梯度下降优化HMK超参数，利用维格纳分布与广义谱密度增强可解释性。
• 实验中采用简化版HMK，其协方差矩阵为对角阵，以提升计算效率。

实验结果

研究问题

• RQ1 能否构建一个理论基础扎实的非平稳核家族，推广平稳谱核并支持局部模式建模？
• RQ2 如何将变分推理适配至频域，以实现非平稳核的高效且可扩展的学习？
• RQ3 HMK在核恢复任务中，对复杂非平稳核（如GSM与IFBM）的恢复能力如何？
• RQ4 在非平稳数据的分类与回归任务中，VFF框架是否优于标准诱导点方法？
• RQ5 与平稳核及谱混合核相比，HMK在非平稳回归任务（如太阳辐照度预测）中的外推能力如何？

主要发现

• HMK以0.0008的均方误差成功恢复广义谱混合（GSM）核，证明其具备高度表达能力与可解释性。
• HMK以0.0033的均方误差恢复时间反转分数布朗运动（IFBM）核，证实其建模复杂非平稳结构的能力。
• 在香蕉数据集的GP分类任务中，VFF结合HMK以更少参数实现准确决策边界，收敛更快且复杂度更低。
• 在太阳辐照度回归任务中，HMK结合VFF优于SE与SM核，能更优地捕捉周期性与非平稳模式，尤其在外推方面表现更佳。
• 优化后HMK的维格纳分布显示，诱导频率集中于学习到的谱分量附近，验证了VFF在识别关键频率方面的有效性。
• HMK结合VFF可实现稳健的核学习与泛化性能提升，尤其在平稳核无法捕捉局部变化的非平稳场景中表现更优。