[論文レビュー] Dynamic clustering of time series data

Victhor S. Sartório, Thaís C. O. Fonseca|arXiv (Cornell University)|Jan 28, 2020

Time Series Analysis and Forecasting被引用数 1

ひとこと要約

本稿では、時間発展する混合重みを支配する進化的ディリクレ過程を用いた動的線形モデル（DLM）の混合モデルを用いて、多次元時系列の動的クラスタリング手法を提案する。これにより、滑らかで時間依存性のあるクラスタ所属の遷移が可能となる。この手法は、効率的な確率的EMと勾配降下法を組み合わせて高速な点推定を実現し、再生可能エネルギーおよびGapminderデータセットにおいて優れた性能を示す。構造的シフトを捉える能力があり、静的クラスタ割り当てを必要としない。

ABSTRACT

We propose a new method for clustering multivariate time-series data based on Dynamic Linear Models. Whereas usual time-series clustering methods obtain static membership parameters, our proposal allows each time-series to dynamically change their cluster memberships over time. In this context, a mixture model is assumed for the time series and a flexible Dirichlet evolution for mixture weights allows for smooth membership changes over time. Posterior estimates and predictions can be obtained through Gibbs sampling, but a more efficient method for obtaining point estimates is presented, based on Stochastic Expectation-Maximization and Gradient Descent. Finally, two applications illustrate the usefulness of our proposed model to model both univariate and multivariate time-series: World Bank indicators for the renewable energy consumption of EU nations and the famous Gapminder dataset containing life-expectancy and GDP per capita for various countries.

研究の動機と目的

• 時系列クラスタリングにおける静的クラスタ割り当ての限界に対処すること。時系列は時間経過とともに行動を変える可能性がある。
• 従来のHMMベースやk-meansに類似した手法よりも、より柔軟に時間変動するクラスタ所属関係をモデル化すること。
• 大規模または高次元時系列に実用的に応用可能な、動的混合モデルの計算効率の良い推定手法を開発すること。
• 本手法が、構造的シフトや徐々の遷移を示す時系列を正しく分類できることを示すこと。外れ値や遷移的行動の誤分類を回避できる。

提案手法

• 各クラスタが固有の時間変動する状態ベクトルと観測分布を持つ動的線形モデル（DLM）の混合として時系列をモデル化する。
• 各時系列 i と時刻 t における時間発展する混合重み ηit を導入し、滑らかなクラスタ間遷移を可能にするために進化的ディリクレ過程でモデル化する。
• MCMCに比べて計算コストを低減するため、勾配降下法を用いた確率的期待最大化（SEM）によるモデルパラメータの高速な点推定を実施する。
• 事後分布と不確実性の定量化が必要な場合には、ギブスサンプリングを適用する。
• 各クラスタ内での時間的依存性をDLMによる状態空間ダイナミクスで捉える。
• 実装の実用性と再現可能性を高めるために、Pythonライブラリ（dynmix）を開発した。

実験結果

リサーチクエスチョン

• RQ1 時間経過に伴いクラスタ所属が変化する時系列を、動的混合DLMで効果的にモデル化できるか？
• RQ2 クラスタ所属の遷移を、急激または静的ではなく、滑らかで時間依存的に行えるか？
• RQ3 本手法は、構造的シフトを捉える点で、静的クラスタリングやHMMベースの手法を上回る性能を示せるか？
• RQ4 本モデルは、複数の次元で複雑かつ多様な行動を示す多次元時系列を扱えるか？
• RQ5 推定の点推定法は、MCMCに比べて実行時間とスケーラビリティの点でどれほど効率的か？

主な発見

• ボツワナと赤道ギニアのGDP一人当たりが低から高に移行する過程でも、低寿命予想のまま維持されるという特徴を的確に捉え、アフリカグループ所属を時間経過にわたり正しく分類した。
• 北アフリカ諸国およびトルコに関しては、動的変化を検出できた。1967年から1977年にかけて、リビアのヨーロッパグループ所属確率が45％から88％に上昇したが、これはGDPの上昇に起因する。
• アルバニア、ボスニア・ヘルツェゴビナ、モーリシャス、レユニオンは1952年時点で約50％の不確実な分類を示しており、遷移的状態にあったが、短期間で安定したヨーロッパグループ所属に落ち着いた。
• 82個の2次元時系列（12時刻）に対して、点推定法は約2分で収束した。一方MCMCでは約20分を要したため、著しい高速化が達成された。
• 外れ値や遷移的行動の誤分類を回避するため、本モデルは時間依存的で滑らかなクラスタ所属の変化を許容しており、静的または急激な遷移モデルとは対照的である。
• 進化的ディリクレ過程は、変化点の事前知識がなくても、時間依存する混合重みを効果的にモデル化でき、滑らかな遷移を実現した。