[论文解读] Variational Gaussian Processes with Signature Covariances.

Csaba Tóth, Harald Oberhauser|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference参考文献 18被引用 7

一句话总结

该论文提出了一种使用签名核的变分高斯过程模型，用于流式数据，通过引入稀疏诱导张量来降低计算成本，从而实现从时间序列和文本中高效学习。该方法在监督分类任务中表现出色，同时保持了贝叶斯不确定性量化。

ABSTRACT

We introduce a Bayesian approach to learn from stream-valued data by using Gaussian processes with the recently introduced signature kernel as covariance function. To cope with the computational complexity in time and memory that arises with long streams that evolve in large state spaces, we develop a variational Bayes approach with sparse inducing tensors. We provide an implementation based on GPFlow and benchmark this variational Gaussian process model on supervised classification tasks for time series and text (a stream of words).

研究动机与目标

• 解决高维状态空间中长流数据的高斯过程扩展性挑战。
• 通过基于签名变换的核函数，实现在时间序列和文本等序列数据上的贝叶斯学习。
• 通过使用稀疏诱导张量的变分贝叶斯方法，降低时间和内存计算复杂度。
• 为流式数据上的监督分类提供一种可扩展且具备不确定性感知的模型。

提出的方法

• 该方法在高斯过程中使用签名核作为协方差函数，以捕捉复杂的时序和序列依赖关系。
• 采用变分贝叶斯近似来近似函数后验分布，实现可扩展的推理。
• 引入稀疏诱导张量以压缩协方差结构的表示，降低内存和计算开销。
• 使用 GPFlow 实现模型，利用自动微分和 GPU 加速以提升效率。
• 通过随机梯度下降优化变分目标，以处理大规模数据。

实验结果

研究问题

• RQ1 签名核是否能在贝叶斯框架中有效建模时间序列和文本等序列数据？
• RQ2 结合稀疏诱导张量的变分推理在长序列和高维状态空间中是否具备良好的可扩展性？
• RQ3 与基线方法相比，该模型在时间序列和文本数据上的分类准确率如何？
• RQ4 该模型在实现计算效率的同时，其不确定性估计的保持效果如何？

主要发现

• 该模型在时间序列和文本基准数据集上实现了具有竞争力的分类性能，证明了签名核在捕捉序列结构方面的有效性。
• 稀疏诱导张量的使用显著降低了内存和计算成本，使模型能够扩展到更长的序列。
• 变分推理框架保持了可靠的不确定性估计，支持稳健的决策制定。
• 在 GPFlow 中的实现支持高效的训练与推理，有利于实际部署。