[論文レビュー] Gaussian Process Latent Variable Alignment Learning

Carl Henrik Ek, Ieva Kazlauskaite+1 more|arXiv (Cornell University)|Mar 7, 2018

Gaussian Processes and Bayesian Inference参考文献 41被引用数 5

ひとこと要約

本論文は、非パラメトリックなガウス過程事前分布を用いてワーピング関数をモデル化することで、柔軟で解釈可能な正則化を備えた、教師なしの方法で時系列データの時系列整合とクラスタリングを同時に学習するガウス過程潜在変数モデル（GP-LVM）を提案する。この手法は、多様なシーケンスタイプを含むデータセットにおいて、最先端の手法を上回る性能を示し、整合性の高い精度と同時にクラスタリングを達成する。

ABSTRACT

We present a model that can automatically learn alignments between high-dimensional data in an unsupervised manner. Our proposed method casts alignment learning in a framework where both alignment and data are modelled simultaneously. Further, we automatically infer groupings of different types of sequences within the same dataset. We derive a probabilistic model built on non-parametric priors that allows for flexible warps while at the same time providing means to specify interpretable constraints. We demonstrate the efficacy of our approach with superior quantitative performance to the state-of-the-art approaches and provide examples to illustrate the versatility of our model in automatic inference of sequence groupings, absent from previous approaches, as well as easy specification of high level priors for different modalities of data.

研究の動機と目的

• 変動するタイミングや位相差を示す高次元時系列データの整合を課題とし、特に1つのデータセットに複数の異なるシーケンスタイプが共存する状況での対応を目的とする。
• DTWのような従来の2重比較手法の限界を克服する。これらの手法は局所的で凸でなく、グローバル構造やグループ化を捉えることができない。
• 事前のグループ分けを必要とせず、同時にクラスタリングと整合を実現する。完全に教師なしの学習を達成する。
• 観測データを生成プロセスを通じて直接モデル化する、整合的で確率論的なフレームワークを提供し、ノイズ除去と一般化性能の向上を可能にする。
• ヒューリスティックまたはパラメトリックなワーピング関数に代えて、連続的で非パラメトリックなガウス過程事前分布を用いることで、柔軟で解釈可能で正則化されたワーピングを実現する

提案手法

• 潜在空間に整合とクラスタリング構造を統合して、観測時系列をガウス過程潜在変数モデル（GP-LVM）でモデル化する。
• 各時系列に対して、ガウス過程事前分布を用いて非パラメトリックで連続的なワーピング関数を導入し、柔軟で滑らかな時間的変形を可能にする。
• 全時系列に共通するワーピング関数事前分布を導入することで、一貫性を確保し、グローバルな整合制約を可能にする。
• 確率的でベイジアンなフレームワークを採用し、潜在変数、ワーピング関数、クラスタ割り当てを1つの生成モデル内で同時に推論する。
• 心拍信号のような高周波数ノイズを扱うために、Matérn 3/2カーネルを適用する。このカーネルは、急激な時間的変化を保持しつつも、ノイズを効果的に抑制する。
• 変分推論を用いて潜在変数およびワーピング関数の事後分布を近似し、スケーラブルな学習を実現する

実験結果

リサーチクエスチョン

• RQ1 統一された確率的モデルは、教師なしの方法で多様なシーケンスタイプの時系列整合とクラスタリングを同時に学習できるか？
• RQ2 非パラメトリックなガウス過程によるワーピング関数のモデル化は、パラメトリックまたは最適化ベースの手法と比較して、どの程度整合性の高い結果をもたらすか？
• RQ3 事前の知識や事前処理なしに、真の潜在的シーケンスグループをどの程度正確に回復できるか？
• RQ4 ワーピング関数に解釈可能で構造的な事前分布を適用することで、制約なしまたはヒューリスティックな代替手法と比較して、より正確で安定した整合が達成できるか？
• RQ5 アラインメントされたデータから滑らかで低次元の多様体を学習することで、モデルは新しいアラインメントに一般化しやすくなるか？

主な発見

• 提案手法は、特に複雑で多様なタイプの時系列データを含むデータセットにおいて、最先端のアラインメント手法を定量的指標で上回る性能を示した。
• CMUモーションキャプチャデータにおいて、事前のグループ分けなしに3つの異なる運動タイプ（例：スイング、パット、ボール配置）を正しく発見し、クラスタリングした。
• 心音データにおいて、時系列の時間的パターンに基づいて自動的に2種類の心音タイプ（例：正常と異常）を識別し、アラインメントとクラスタリングを実行した。
• モデルが推論したワーピング関数は、真の時間的変換に非常に近いが、SRVFベースの手法とは異なり、歪みや予測不能なワープを生じない。
• アラインメント後のGP-LVM多様体は、明確なクラスタ分離と滑らかな遷移を示しており、潜在空間における一般化性能の向上と分散の低減を示している。
• Matérn 3/2カーネルの使用により、心音計測データ（ Phonocardiogram ）において高周波数ノイズを効果的に抑制しながらも、臨床的に重要な信号ダイナミクスを保持した。