[论文解读] Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances

Csaba D. Tóth, Harald Oberhauser|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference被引用 19

一句话总结

该论文提出了一种基于签名核函数的高斯过程贝叶斯框架，用于序列数据建模，能够精确捕捉复杂的时序依赖关系。通过结合稀疏变分推断与诱导张量，并与LSTM/GRU模型集成，该方法在多变量时间序列分类基准上实现了最先进（SOTA）的准确率和校准良好的不确定性估计。

ABSTRACT

We develop a Bayesian approach to learning from sequential data by using Gaussian processes (GPs) with so-called signature kernels as covariance functions. This allows to make sequences of different length comparable and to rely on strong theoretical results from stochastic analysis. Signatures capture sequential structure with tensors that can scale unfavourably in sequence length and state space dimension. To deal with this, we introduce a sparse variational approach with inducing tensors. We then combine the resulting GP with LSTMs and GRUs to build larger models that leverage the strengths of each of these approaches and benchmark the resulting GPs on multivariate time series (TS) classification datasets. Code available at https://github.com/tgcsaba/GPSig.

研究动机与目标

• 解决将高斯过程应用于具有可变长度输入和复杂时序依赖关系的序列数据的挑战。
• 通过引入基于诱导张量的稀疏变分推断框架，克服全签名核函数计算不可行的问题。
• 将基于签名的高斯过程与深度学习模型（LSTM、GRU）结合，实现贝叶斯不确定性量化与深度表征学习的优势互补。
• 在标准时间序列分类数据集上对所提方法进行基准测试，以评估其预测准确率与不确定性校准性能。

提出的方法

• 定义一种以签名核函数作为协方差函数的高斯过程，利用随机分析中序列的张量表示。
• 提出一种基于域间诱导张量的稀疏变分推断方法，以降低计算成本，同时保持模型表达能力。
• 通过优化变分下界，实现对诱导点与核超参数的可扩展学习。
• 将所得高斯过程与循环神经网络（LSTM、GRU）结合，构建兼具贝叶斯不确定性与深度序列特征学习能力的混合模型。
• 利用签名核函数将序列映射到希尔伯特空间，使线性方法能够建模非线性依赖关系。
• 将该框架应用于多变量时间序列分类任务，将高斯过程作为带有不确定性估计的概率分类器使用。

实验结果

研究问题

• RQ1 尽管计算成本高昂，签名核函数是否可有效用作高斯过程在序列数据中的协方差函数？
• RQ2 如何将基于诱导张量的稀疏变分推断方法适配于签名核函数，以实现高斯过程推断的可扩展性？
• RQ3 将高斯过程与LSTM/GRU结合的混合模型在时间序列基准上，能在多大程度上提升分类准确率与不确定性校准性能？
• RQ4 在预测性能与不确定性校准方面，所提方法相较于非贝叶斯深度学习方法及其他贝叶斯模型表现如何？

主要发现

• 所提出的具有签名协方差的高斯过程在16个多变量时间序列分类数据集上达到最先进准确率，平均准确率为0.948，平均排名为2.688。
• GP-LSTM与GP-GRU模型优于独立的GP-KConv1D及其他基线模型，其中GP-GRU在阿拉伯数字数据集上达到0.994±0.002的准确率。
• 该方法提供了校准良好的不确定性估计，负对预测概率（NLPD）箱线图显示其不确定性量化更紧密且更可靠。
• 在AUSLAN数据集上，GP-GRU达到0.978±0.006的准确率，优于最佳非贝叶斯基线模型MLSTMFCN（0.970）。
• 该模型在多种数据集上保持高性能，包括高维与长序列数据（如PEMS、UWave），平均准确率分别为0.763与0.970。
• 高斯过程与RNN的结合提升了模型鲁棒性，GP-LSTM在Walk vs Run与Shapes数据集上达到1.000±0.000的准确率，与表现最佳的模型持平。