[论文解读] Bayesian Alignments of Warped Multi-Output Gaussian Processes

Markus Kaiser, Clemens Otte+2 more|arXiv (Cornell University)|Oct 8, 2017

Gaussian Processes and Bayesian Inference参考文献 18被引用 3

一句话总结

本文提出了一种用于扭曲多输出高斯过程（AMO-GP）的贝叶斯框架，可建模多个时间序列之间的非线性时间对齐及共享潜在结构。通过引入具有变分推断和核统计量期望的闭式表达式的共享卷积过程层，该模型实现了灵活且合理的不确定性传播，在捕捉输出间依赖关系和非线性扭曲方面优于标准高斯过程。

ABSTRACT

We propose a novel Bayesian approach to modelling nonlinear alignments of time series based on latent shared information. We apply the method to the real-world problem of finding common structure in the sensor data of wind turbines introduced by the underlying latent and turbulent wind field. The proposed model allows for both arbitrary alignments of the inputs and non-parametric output warpings to transform the observations. This gives rise to multiple deep Gaussian process models connected via latent generating processes. We present an efficient variational approximation based on nested variational compression and show how the model can be used to extract shared information between dependent time series, recovering an interpretable functional decomposition of the learning problem. We show results for an artificial data set and real-world data of two wind turbines.

研究动机与目标

• 建模多个时间序列之间复杂且非线性的时序对齐，当标准多输出高斯过程因刚性对齐假设而失效时。
• 通过共享卷积过程层在多个深度高斯过程之间实现信息共享，以捕捉相对时间偏移和非线性扭曲。
• 开发一种具有核统计量期望闭式表达式的变分推断方案，实现高效优化和不确定性量化。
• 从数据中恢复潜在共享动态和各输出特有的扭曲函数，尤其在观测结果存在错位或非线性变换的情况下。
• 通过引入对齐和扭曲的合理贝叶斯处理，提升标准多输出高斯过程和深度高斯过程在建模灵活性和准确性方面的表现。

提出的方法

• 引入一个共享卷积过程（CP）层，作为多个深度高斯过程的公共接口，实现输出之间的信息共享。
• 通过变分推断对潜在时间对齐进行贝叶斯处理，对齐变量上定义变分分布 q(a) ∼ N(μa, Σa)。
• 在高斯过程先验和变分近似下，推导出核矩阵关键 Ψ 统计量（Ψf = E[Kfu], Φf = E[KufKfu], ψf = E[tr(Kff)]）的闭式表达式。
• 为每个输出引入一个扭曲层 g_d，以建模非线性时间变换，实现超越恒定偏移的灵活对齐。
• 将嵌套变分压缩方法适配于多输出深度高斯过程推断，扩展该方法以同时处理多个高斯过程并共享诱导变量。
• 通过利用沿数据点的期望因子分解实现随机优化，使计算复杂度保持在 O(NM²) 时间内。

实验结果

研究问题

• RQ1 贝叶斯框架能否有效建模多个时间序列之间的非线性时序对齐，同时保持对齐参数的不确定性？
• RQ2 当观测结果在时间上存在错位或非线性扭曲时，如何在多个输出之间建模共享潜在结构？
• RQ3 在具有不确定对齐的卷积过程下，核期望统计量（Ψf, Φf, ψf）是否存在闭式解？
• RQ4 与标准多输出高斯过程和深度高斯过程相比，所提出的 AMO-GP 模型在预测性能和结构恢复方面提升了多少？
• RQ5 该模型能否从数据中恢复出潜在共享动态和各输出特有的扭曲函数，特别是在存在非线性时间畸变的情况下？

主要发现

• 在合成数据中，AMO-GP 模型成功恢复了真实的非线性对齐和扭曲函数，优于标准多输出高斯过程和深度高斯过程模型。
• 该模型捕捉到了标准多输出高斯过程因假设固定时间偏移而无法建模的输出间依赖关系。
• 在 RBF 和线性核假设下，推导出 Ψ 统计量（Ψf, Φf, ψf）的闭式解，支持高效随机优化。
• 共享卷积过程层有效促进了多个深度高斯过程之间的信息共享，提升了泛化能力和预测性能。
• 在真实世界的风力涡轮机数据集中，AMO-GP 有效恢复了潜在主导风况以及风前缘到达涡轮机的相对时间。
• 由于能够学习并传播对齐不确定性，该模型在高不确定性区域不会退化到先验分布，而浅层和深层高斯过程模型则会。