[论文解读] Learning spectrograms with convolutional spectral kernels

Zheyang Shen, Markus Heinonen+1 more|arXiv (Cornell University)|May 23, 2019

Gaussian Processes and Bayesian Inference参考文献 32被引用 5

一句话总结

本文提出卷积谱核（CSK），一种新颖的非平稳、非参数协方差核，用于高斯过程，通过复径向基函数的卷积建模空间可变的长度尺度和频率。该方法通过将核函数表示为语谱图，实现了在时空数据上更优的泛化性能与可解释的模式提取，实证结果表明其在预测性能上优于基线模型，包括深度高斯过程和谱混合核。

ABSTRACT

We introduce the convolutional spectral kernel (CSK), a novel family of non-stationary, nonparametric covariance kernels for Gaussian process (GP) models, derived from the convolution between two imaginary radial basis functions. We present a principled framework to interpret CSK, as well as other deep probabilistic models, using approximated Fourier transform, yielding a concise representation of input-frequency spectrogram. Observing through the lens of the spectrogram, we provide insight on the interpretability of deep models. We then infer the functional hyperparameters using scalable variational and MCMC methods. On small- and medium-sized spatiotemporal datasets, we demonstrate improved generalization of GP models when equipped with CSK, and their capability to extract non-stationary periodic patterns.

研究动机与目标

• 解决标准平稳核（如平方指数核）在捕捉时空数据中非平稳、复杂模式方面的局限性。
• 开发一种灵活、可解释且可扩展的核族，以推广现有的非平稳与谱混合核。
• 通过联合输入-频率表示，提供一种基于语谱图的框架，用于解释深度概率模型与非参数核。
• 利用变分推断与马尔可夫链蒙特卡洛（MCMC）方法（包括稀疏高斯过程与移动窗口MCEM技术）实现CSK-GP模型的可扩展推断。
• 通过实证验证CSK在提取非平稳周期性模式方面的能力，并在真实世界与合成数据集上超越最先进模型。

提出的方法

• 提出卷积谱核（CSK）作为非平稳、非参数核，其来源于两个具有空间可变参数的复值径向基函数的卷积。
• 定义一个涉及频率与协方差参数的复特征映射，以实现对长度尺度与瞬时频率的局部控制。
• 引入语谱图表示作为联合输入-频率可视化工具，用于解释核函数行为与模型可解释性。
• 利用近似傅里叶变换将核结构与其语谱图表示关联，实现对深度模型的系统性解释。
• 通过稀疏高斯过程近似、随机梯度哈密顿蒙特卡洛（SGHMC）以及移动窗口MCEM方法实现可扩展推断，支持功能超参数学习。
• 将框架扩展至协方差函数深度高斯过程，实现分层建模，并在性能上优于组合式DGP架构。

实验结果

研究问题

• RQ1 能否构建一种非平稳、非参数核，以建模空间可变的频率与长度尺度，同时保持可解释性？
• RQ2 语谱图如何作为系统性框架，用于解释非参数核与深度概率模型？
• RQ3 与现有核函数相比，CSK核是否能在非平稳、非高斯的时空数据上提升泛化能力与模式提取能力？
• RQ4 能否有效结合可扩展推断方法与CSK，以实现深度高斯过程在大规模数据上的应用？
• RQ5 深度核学习与非参数核族（如CSK）之间存在何种关系？该关系如何指导模型设计？

主要发现

• CSK核成功恢复了合成 chirp 信号的瞬时频率，学习到的频率与真实底层频率 $1 + 1.8t^2$ 非常接近。
• 在太阳辐照度数据集上，CSK在保持全局频率模式的同时具备局部适应能力，并能有效处理非高斯数据，其在建模非平稳性方面优于SM与HMK。
• 在气温异常数据集上，CSK-GP模型的测试对数似然为 -0.576，均方误差（MSE）为 0.289，显著优于SE核及其他基线模型。
• 在纽约黄色出租车数据集上，CSK实现了最低的测试MSE（0.289）与最高的测试对数似然（-0.576），略胜于4层DGP与NSQ核。
• 语谱图可视化显示，CSK学习到了具有可变局部频率的全局频率模式，同时保持了对瞬时频率的无偏描述，而GSM核则不具备此特性。
• 所提出的可扩展推断框架能够有效训练中等规模数据集上的CSK-GP模型，展现出实际应用潜力与鲁棒性。