[论文解读] Gaussian Process Latent Variable Alignment Learning

Carl Henrik Ek, Ieva Kazlauskaite+1 more|arXiv (Cornell University)|Mar 7, 2018

Gaussian Processes and Bayesian Inference参考文献 41被引用 5

一句话总结

本文提出了一种高斯过程潜在变量模型（GP-LVM），以无监督方式联合学习序列数据的时间对齐与聚类分组。通过使用高斯过程先验对形变函数进行非参数建模，该方法实现了灵活、可解释的对齐，并具备合理的正则化，其在对齐准确率和同时处理多种序列类型聚类方面均优于最先进方法。

ABSTRACT

We present a model that can automatically learn alignments between high-dimensional data in an unsupervised manner. Our proposed method casts alignment learning in a framework where both alignment and data are modelled simultaneously. Further, we automatically infer groupings of different types of sequences within the same dataset. We derive a probabilistic model built on non-parametric priors that allows for flexible warps while at the same time providing means to specify interpretable constraints. We demonstrate the efficacy of our approach with superior quantitative performance to the state-of-the-art approaches and provide examples to illustrate the versatility of our model in automatic inference of sequence groupings, absent from previous approaches, as well as easy specification of high level priors for different modalities of data.

研究动机与目标

• 解决高维序列数据在存在可变时间延迟和相位偏移情况下的对齐挑战，尤其当单一数据集中同时存在多种不同序列类型时。
• 克服传统成对对齐方法（如DTW）的局限性，这些方法具有局部性、非凸性，且无法捕捉全局结构或聚类模式。
• 实现在无需预先分组序列类型的情况下，同时进行聚类与对齐，实现完全无监督学习。
• 提供一种有原则的、概率化的框架，通过生成过程直接建模观测数据，支持噪声剔除并提升泛化能力。
• 用连续的、非参数的高斯过程先验替代启发式或参数化的形变函数，以支持灵活、可解释且正则化的形变。

提出的方法

• 使用高斯过程潜在变量模型（GP-LVM）对观测序列进行建模，其中潜在空间同时编码对齐与聚类结构。
• 为每条序列引入非参数、连续的形变函数，使用高斯过程先验，以支持灵活且平滑的时间形变。
• 在序列间使用共享的形变函数先验，以确保一致性并允许施加全局对齐约束。
• 采用概率性、贝叶斯框架，将潜在变量、形变函数与聚类分配在单一生成模型中联合推断。
• 应用Matérn 3/2核以处理心率等信号中的高频噪声，同时保留快速的时间变化。
• 使用变分推断近似潜在变量与形变函数的后验分布，实现可扩展的学习。

实验结果

研究问题

• RQ1 统一的概率模型是否能够在无监督条件下同时学习多种序列类型的时序对齐与聚类分组？
• RQ2 与参数化或基于优化的方法相比，通过非参数高斯过程建模形变函数在对齐质量上是否有所提升？
• RQ3 在缺乏先验知识或预处理的情况下，该模型在多大程度上能恢复真实的底层序列分组？
• RQ4 在形变函数上使用可解释的、结构化的先验是否能带来比无约束或启发式方法更准确、更稳定的对齐结果？
• RQ5 通过从对齐数据中学习平滑的低维流形，该模型是否能在新对齐任务上表现出更好的泛化能力？

主要发现

• 所提方法在定量指标上优于最先进对齐方法，尤其在处理复杂、多类型序列数据集方面表现突出。
• 在CMU动作捕捉数据中，该模型无需预先分组即可成功发现并聚类三种不同的运动类型（如摆动、推杆、球位放置）。
• 在心音数据上，该模型通过基于时间模式的对齐与聚类，自动识别出两种不同类型的呼吸音（如正常与异常）。
• 该模型推断出的形变函数与真实底层时间变换高度吻合，而SRVF方法则产生扭曲且不可预测的形变。
• 对齐后得到的GP-LVM流形显示出更清晰的聚类分离与更平滑的过渡，表明潜在空间中具有更好的泛化能力与更低方差。
• 使用Matérn 3/2核能有效抑制高频噪声，同时在心音图数据中保留了具有临床意义的信号动态。