[论文解读] A scalable end-to-end Gaussian process adapter for irregularly sampled time series classification

Steven Cheng-Xian Li, Benjamin M. Marlin|arXiv (Cornell University)|Jun 14, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用 13

一句话总结

该论文提出了一种可扩展的、端到端的高斯过程适配器，用于对非均匀采样的时间序列进行分类，通过使用近似高斯过程回归将稀疏、非均匀的数据转换为具有不确定性的表征。通过结合结构化核插值（structured kernel interpolation）与基于Lanczos的矩阵近似方法，该方法实现了基于梯度的分类器的可微训练，且在uWave等基准数据集上达到了最先进性能。

ABSTRACT

We present a general framework for classification of sparse and irregularly-sampled time series. The properties of such time series can result in substantial uncertainty about the values of the underlying temporal processes, while making the data difficult to deal with using standard classification methods that assume fixed-dimensional feature spaces. To address these challenges, we propose an uncertainty-aware classification framework based on a special computational layer we refer to as the Gaussian process adapter that can connect irregularly sampled time series data to any black-box classifier learnable using gradient descent. We show how to scale up the required computations based on combining the structured kernel interpolation framework and the Lanczos approximation method, and how to discriminatively train the Gaussian process adapter in combination with a number of classifiers end-to-end using backpropagation.

研究动机与目标

• 解决稀疏且非均匀采样时间序列的分类挑战，此类数据缺乏固定的维度特征空间，且由于观测稀疏而具有高不确定性。
• 克服在大规模设置下精确高斯过程回归的计算不可行性，其时间复杂度为O(n³)，对长序列而言过于昂贵。
• 开发一种可微的、具有不确定性的表征层，可与任意可梯度学习的分类器对接，实现端到端训练。
• 通过高效的近似技术实现可扩展的推理与训练，将时间和空间复杂度分别降低至O(n)和O(m log m)，其中m为诱导点数量。
• 证明对GP适配器进行判别性微调可显著提升分类准确率，优于边际似然最大化或仅使用均值的基线方法。

提出的方法

• 提出高斯过程适配器作为可微的计算层，通过在参考时间点处的后验GP均值与协方差，将非均匀时间序列映射为固定维度的、具有不确定性的表征。
• 使用结构化核插值（SKI）近似GP协方差矩阵，将精确GP推理的O(n³)计算成本降低至O(n)，使用m个诱导点。
• 应用Lanczos方法高效近似GP后验分布采样所需的矩阵函数，实现快速且可微的采样。
• 通过反向传播梯度穿过迭代的Lanczos过程，将GP适配器集成到深度学习流水线中，实现GP超参数与分类器权重的联合优化。
• 通过指数变换重参数化GP核超参数（如长度尺度、幅度、噪声方差），以确保优化过程中的正性。
• 使用带有Nesterov动量的随机梯度下降训练完整系统，并基于验证性能采用早停策略。

实验结果

研究问题

• RQ1 能否构建一个可微的、具有不确定性的表征层，以实现对非均匀采样时间序列分类器的端到端训练？
• RQ2 如何降低基于GP的表征学习的计算成本，以实现对长序列或大规模时间序列的可扩展性？
• RQ3 对GP适配器进行端到端判别性训练是否优于传统的边际似然最大化或仅使用均值的插值方法？
• RQ4 与确定性基线相比，将GP后验中的不确定性纳入考虑，能在多大程度上提升分类准确率？
• RQ5 在实践中，SKI与基于Lanczos的采样等近似技术如何影响推理速度与模型性能？

主要发现

• 使用卷积神经网络对GP适配器进行端到端判别性训练，在uWave数据集上达到了91.41%的准确率，显著优于次优方法（88.17%）的UAC框架。
• 采用不确定性感知采样的GP适配器（UAC）相比仅使用均值的预测（IMP），在逻辑回归上提升1.22%、MLP上提升1.46%、ConvNet上提升2.23%的分类准确率。
• 所提出的近似方法相比精确GP采样实现了1至3个数量级的速度提升，尤其在长序列上收益最大。
• 通过Lanczos过程的反向传播是可行且有效的，但由于Lanczos向量中存在递归依赖关系，反向传播的计算成本高于前向传播。
• 当通过GP适配器实现MEG核时，端到端训练达到了86.61%的准确率，优于其独立的边际似然版本。
• 更深的模型（如ConvNet）从不确定性感知训练中获益最多，表明在稀疏设置下，复杂架构更能从不确定性建模中获益。