[論文レビュー] Probabilistic models for joint clustering and time-warping of multidimensional curves

Darya Chudova, Scott Gaffney+1 more|arXiv (Cornell University)|Oct 19, 2012

Time Series Analysis and Forecasting参考文献 16被引用数 12

ひとこと要約

本稿では、非線形時系列歪み、離散的時間シフト、オフセット調整を組み合わせた動的ベイジアンネットワークフレームワーク内で、多次元曲線を同時にクラスタリングおよびアライメントする生成的混合モデルを提案する。EMアルゴリズムにより、クラスタ平均、時系列歪み関数、曲線の所属関係を同時に推定し、ベイジアン推定により小規模データセットでも性能が向上し、実世界のデータにおいてベースラインを上回る予測精度を達成する。

ABSTRACT

In this paper we present a family of algorithms that can simultaneously align and cluster sets of multidimensional curves measured on a discrete time grid. Our approach is based on a generative mixture model that allows non-linear time warping of the observed curves relative to the mean curves within the clusters. We also allow for arbitrary discrete-valued translation of the time axis, random real-valued offsets of the measured curves, and additive measurement noise. The resulting model can be viewed as a dynamic Bayesian network with a special transition structure that allows effective inference and learning. The Expectation-Maximization (EM) algorithm can be used to simultaneously recover both the curve models for each cluster, and the most likely time warping, translation, offset, and cluster membership for each curve. We demonstrate how Bayesian estimation methods improve the results for smaller sample sizes by enforcing smoothness in the cluster mean curves. We evaluate the methodology on two real-world data sets, and show that the DBN models provide systematic improvements in predictive power over competing approaches.

研究の動機と目的

• 非線形時系列歪みを用いて、多次元曲線を同時にクラスタリングおよびアライメントする統一された確率的フレームワークを構築すること。
• 生成的クラスタリングモデル内で、任意の離散的時間シフト、実数値の曲線オフセット、加法的測定ノイズをモデル化すること。
• 特別な遷移構造を持つ動的ベイジアンネットワークを用いて、効果的な推論と学習を可能にすること。
• ベイジアン推定を用いてクラスタ平均曲線の滑らかさを強制することで、小規模データセットにおける性能を向上させること。
• 実世界のデータセット上で手法を評価し、従来のアプローチと比較して優れた予測性能を示すこと。

提案手法

• 各クラスタが観測曲線に対して非線形的に歪められた平均曲線を持つ生成的混合モデルを採用する。
• 時系列歪みを潜在変数としてモデル化することで、曲線が時間的にずれている場合でも柔軟なアライメントが可能になる。
• 時間的および振幅的シフトを考慮するため、離散的時間シフトと実数値のオフセットをモデルに組み込む。
• 時間的依存性と歪み関係を表現するため、動的ベイジアンネットワーク構造を用い、効率的な推論を可能にする。
• EMアルゴリズムを用いて、クラスタ所属関係、時系列歪み関数、オフセット、クラスタ平均曲線を同時に推定する。
• 平均曲線の滑らかさを促進し、小規模なサンプルサイズでも性能を向上させるために、ベイジアン推定を統合する。

実験結果

リサーチクエスチョン

• RQ1 統一された確率的モデルは、多次元曲線の同時クラスタリングと時系列歪みを実現できるか？
• RQ2 固定または線形アライメントと比較して、非線形時系列歪みはアライメント精度をどのように向上させるか？
• RQ3 クラスタ平均曲線に対するベイジアン正則化は、小規模データセットにおける性能をどの程度向上させるか？
• RQ4 提案された動的ベイジアンネットワーク構造は、この文脈における効率的な推論と学習をどのように支援するか？
• RQ5 歪み、シフト、オフセット、クラスタリングの統合的モデリングは、分離的または逐次的アプローチと比較して、より優れた予測性能をもたらすか？

主な発見

• 非線形時系列歪みを組み込んだ動的ベイジアンネットワークモデルは、実世界のデータセットにおいて、競合手法と比較して一貫した予測性能の向上を達成する。
• クラスタ平均曲線に対するベイジアン推定は、滑らかさを強制することで、小規模なサンプルサイズでも性能を顕著に向上させる。
• 時系列歪み、クラスタ所属関係、オフセットの共同推定により、より正確で頑健なクラスタリング結果が得られる。
• EMアルゴリズムは、各曲線のクラスタ固有の平均曲線および最も確率の高い時系列歪み関数を効果的に回復できる。
• 2つの実世界データセットにおける強い実証的性能を示し、本手法の実用的有用性とスケーラビリティを確認した。