[論文レビュー] Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data

David Hallac, Sagar Vare+2 more|arXiv (Cornell University)|Jun 10, 2017

Time Series Analysis and Forecasting参考文献 42被引用数 19

ひとこと要約

本稿では、各クラスタ内におけるセンサ間の依存関係を表すスパースなマルコフ確率場（MRF）を学習することで、同時に時系列のセグメンテーションとクラスタリングを実行するモデルベース手法、Toeplitz逆共分散に基づくクラスタリング（TICC）を提案する。TICCは動的計画法を用いて時系列セグメンテーションを、ADMMを用いてToeplitz構造をもつ逆共分散行列を推定する。この手法により、解釈可能で構造に配慮したクラスタリングが可能となり、合成データおよび実世界の自動車センサデータにおいて、距離ベースのベースラインを上回る性能を発揮する。

ABSTRACT

Subsequence clustering of multivariate time series is a useful tool for discovering repeated patterns in temporal data. Once these patterns have been discovered, seemingly complicated datasets can be interpreted as a temporal sequence of only a small number of states, or clusters. For example, raw sensor data from a fitness-tracking application can be expressed as a timeline of a select few actions (i.e., walking, sitting, running). However, discovering these patterns is challenging because it requires simultaneous segmentation and clustering of the time series. Furthermore, interpreting the resulting clusters is difficult, especially when the data is high-dimensional. Here we propose a new method of model-based clustering, which we call Toeplitz Inverse Covariance-based Clustering (TICC). Each cluster in the TICC method is defined by a correlation network, or Markov random field (MRF), characterizing the interdependencies between different observations in a typical subsequence of that cluster. Based on this graphical representation, TICC simultaneously segments and clusters the time series data. We solve the TICC problem through alternating minimization, using a variation of the expectation maximization (EM) algorithm. We derive closed-form solutions to efficiently solve the two resulting subproblems in a scalable way, through dynamic programming and the alternating direction method of multipliers (ADMM), respectively. We validate our approach by comparing TICC to several state-of-the-art baselines in a series of synthetic experiments, and we then demonstrate on an automobile sensor dataset how TICC can be used to learn interpretable clusters in real-world scenarios.

研究の動機と目的

• 高次元の多次元時系列を、解釈可能で繰り返し現れる状態に同時にセグメンテーションおよびクラスタリングする課題に対処すること。
• 距離ベースのクラスタリングを越えて、マークフ・ランダムフィールド（MRF）を用いて条件付き依存関係をモデル化することで解釈性を向上させること。
• 部分列内での時間不変な相関構造を捉えるスケーラブルでモデルベースのクラスタリングフレームワークを構築すること。
• 自動車データセットにおけるドライブ行動など、意味のある現実世界の行動パターンの発見を可能にすること。
• 原始的な値の一致ではなく構造的類似性に基づいてクラスタリングすることにより、方向性や対称的変化（例：左折 vs. 右折）に対してロバストな手法を提供すること。

提案手法

• TICCは、固定サイズのスライディングウインドウ上で定義されたマルチレイヤーMRFとして各クラスタをモデル化し、時間不変な部分相関構造を捉える。
• MRFはスパースな逆共分散行列（精度行列）として表現され、ゼロ要素はセンサペア間の条件付き独立性を示す。
• アルゴリズムは2段階の反復を繰り返す：(1) 時間的整合性を保証するために動的計画法を用いて時系列点をクラスタに割り当てる、(2) ADMMを用いてスパース逆共分散推定問題を解き、クラスタ固有のMRFを更新する。
• 逆共分散行列にToeplitz構造を制約することで定常性を強制し、パラメータ数を削減し、スケーラビリティと解釈可能性を向上させる。
• EMアルゴリズムにインspiredされた交互最小化フレームワークを採用し、両方の部分問題に対して閉形式の更新式を導出する。
• クラスタリング目的関数はデータ適合性と構造的正則化を組み合わせており、一貫したMRFを持つセグメントを促進する。

実験結果

リサーチクエスチョン

• RQ1 多次元時系列から依存関係ネットワーク（MRF）を学習するモデルベースのクラスタリング手法は、距離ベースの手法と比較して解釈性を向上させることができるか？
• RQ2 時間的整合性を保ちつつ構造的パターンを捉えるために、同時にセグメンテーションとクラスタリングをどのように達成できるか？
• RQ3 TICCは、高次元センサデータにおいて、意味のある現実世界の行動状態（例：ドライブマニューバー）をどの程度発見できるか？
• RQ4 構造的類似性（部分相関）に基づくクラスタリングは、原始的な信号の一致に基づくクラスタリングを上回るか、特に左折・右折のような対称的状況において？
• RQ5 得られたMRFは、媒介性中心性などのセンサ重要度指標を用いてクラスタの意味を解釈するために利用可能か？

主な発見

• TICCは自動車センサデータセットにおいて、減速、旋回、加速、直進、カーブ走行の5つの明確に異なるドライブ状態を同定した。
• センサの媒介性中心性スコアがクラスタの意味を明確に区別しており、例として、旋回クラスタ（#2 および #5）ではY方向加速度が最も重要であった。
• ブレーキペダルと速度の中心性が高かったクラスタ#1は、一貫して減速状態に割り当てられ、速度とガスペダルが支配的だったクラスタ#4は、直進走行に対応していた。
• TICCは、センサ依存関係の構造的類似性に基づき、左折と右折を同じクラスタにグループ化したが、距離ベースの手法ではそれらを別々のクラスタとみなしていた。
• 同じドライブセッション内で左折と右折の両方において一貫したクラスタ割り当てが得られたことから、対称的変化に対してロバストであることが示された。
• 合成データにおいて、TICCは最先端のベースラインを上回るクラスタリング精度と構造回復性能を達成し、真の潜在的パターンの回復能が裏付けられた。