[論文レビュー] Discovering shared and individual latent structure in multiple time series

Suchi Saria, Daphne Koller+1 more|arXiv (Cornell University)|Aug 12, 2010

Bayesian Methods and Mixture Models参考文献 23被引用数 12

ひとこと要約

本稿では、連続的時系列データの複数の時間系列に共通する潜在的構造と個別的な構造を、非パラメトリックベイジアントピックモデルを用いて発見する時間系列トピックモデル（TSTM）を提案する。この手法は、潜在的ディリクレ配分（LDA）を拡張し、教師なしでトピック（動的パターン）と語の境界を同時に学習する。各時系列は、周囲の動的特徴（「語」）の分布に対応する潜在的トピック間を切り替えるものとしてモデル化される。ここで「語」とは、フーリエ変換係数から導出される動的特徴を意味する。TSTMは、教師ありタスクにおいて72.74%の平均ランク性能を達成し、FFTベースの特徴量やBP-AR-HMMよりも優れた特徴量の有効性を示している。

ABSTRACT

This paper proposes a nonparametric Bayesian method for exploratory data analysis and feature construction in continuous time series. Our method focuses on understanding shared features in a set of time series that exhibit significant individual variability. Our method builds on the framework of latent Diricihlet allocation (LDA) and its extension to hierarchical Dirichlet processes, which allows us to characterize each series as switching between latent ``topics'', where each topic is characterized as a distribution over ``words'' that specify the series dynamics. However, unlike standard applications of LDA, we discover the words as we learn the model. We apply this model to the task of tracking the physiological signals of premature infants; our model obtains clinically significant insights as well as useful features for supervised learning tasks.

研究の動機と目的

• 個々の被験者に顕著なばらつきを示す多様な時系列データをモデル化しつつ、集団レベルの動的パターンを同定すること。
• 従来の時系列モデルが固定された離散化を採用するという制限を克服し、データから直接動的特徴（"語"）を学習すること。
• トピックモデリングフレームワークを連続値をとる時系列データに拡張し、共通の潜在的構造と個別的な構造を同定すること。
• 臨床時系列解析における下流の教師あり学習タスクに適した柔軟で教師なしの特徴表現を提供すること。

提案手法

• 階層的ディリクレ過程とLDAを拡張し、各時系列を潜在的トピック間の切り替えとしてモデル化する。各トピックは動的特徴（「語」）の分布を定義する。
• 各時系列を、各動的パターンの発現度を反映するトピックの混合として表現する。
• トピックの割り当て、語の分布、トピックの割合の完全ベイズ推論にブロックギブスサンプリングを用いる。
• 「語」として、動的関数（例：フーリエ係数）のパラメータ化を定義し、変動長の時間間隔における局所的時系列挙動を捉える。
• 周波数ベースの特徴量を抽出するためにフーリエ変換を適用し、これを語の分布を学習する基盤とする。
• 30%のデータに対して教師なしトピック推論を実行し、語-トピック分布を学習した後、固定パラメータを用いて被験者固有のトピック割合を推論する。

実験結果

リサーチクエスチョン

• RQ1 固定された特徴量を事前に定義せずに、非パラメトリックベイジアンモデルが複数の連続的時系列に共通する潜在的動的パターンと個別的パターンを発見できるか？
• RQ2 TSTMフレームワークは、BP-AR-HMMなどの既存モデルと比較して、集団レベルおよび個別的動的パターンをどれほど正確に捉えられるか？
• RQ3 TSTMが推論するトピック分布は、臨床時系列データにおける教師あり学習タスクにどれほど有効な特徴量として機能するか？
• RQ4 このモデルは、未熟児の生理的信号において、健康状態や合併症に関連する臨床的に意味のあるパターンを解明できるか？

主な発見

• TSTMは、トピック割合を特徴量として用いた教師ありランク付けタスクで72.74%の平均ランク性能を達成し、FFTベースの特徴量（63.5%）を顕著に上回った。
• SVM分類器は、TSTMで推論された特徴量を用いて、健康な未熟児と不健康な未熟児を区別する際、80%の正答率を達成した。一方、BP-AR-HMM特徴量を用いた場合の正答率は70%であった。
• TSTMは、肺疾患や呼吸不全に関連するパターンなど、未熟児のサブグループに共通する動的パターンを効果的に同定できた。
• モデルは、感染や死亡リスクに関連する臨床的に意味のある動的挙動を捉えており、既知の生理学的関連性を裏付けた。
• BP-AR-HMMは多くの被験者固有の特徴量を生成し、データを細分化して小規模データセットでは性能が低下する傾向を示したが、TSTMの共有トピックフレームワークは一般化性能を向上させた。
• TSTMの教師なし特徴量学習は、FFTのような手作業で作成された特徴量に代わる強力な代替手段を提供し、下流の予測タスクにおける特徴量の有効性が高かった。