[論文レビュー] Time Series Segmentation through Automatic Feature Learning

Wei‐Han Lee, Jorge Ortiz+2 more|arXiv (Cornell University)|Jan 16, 2018

Time Series Analysis and Forecasting参考文献 18被引用数 27

ひとこと要約

本論文は、人間が指定したブレークポイント（従来の変化点検出法が捉えられない、微細で統計的でない遷移）を自動で学習する特徴を抽出する深層学習ベースの時系列セグメンテーション手法を提案する。畳み込み自己符号化器と学習された時系列表現、および適応的ウィンドウサイズを活用することで、多様な実世界データセットにおいて最先端の性能を達成し、ベイズ的手法や統計的手法に比べて、ブレークポイント検出の精度と耐障害性において顕著に優れている。

ABSTRACT

Internet of things (IoT) applications have become increasingly popular in recent years, with applications ranging from building energy monitoring to personal health tracking and activity recognition. In order to leverage these data, automatic knowledge extraction - whereby we map from observations to interpretable states and transitions - must be done at scale. As such, we have seen many recent IoT data sets include annotations with a human expert specifying states, recorded as a set of boundaries and associated labels in a data sequence. These data can be used to build automatic labeling algorithms that produce labels as an expert would. Here, we refer to human-specified boundaries as breakpoints. Traditional changepoint detection methods only look for statistically-detectable boundaries that are defined as abrupt variations in the generative parameters of a data sequence. However, we observe that breakpoints occur on more subtle boundaries that are non-trivial to detect with these statistical methods. In this work, we propose a new unsupervised approach, based on deep learning, that outperforms existing techniques and learns the more subtle, breakpoint boundaries with a high accuracy. Through extensive experiments on various real-world data sets - including human-activity sensing data, speech signals, and electroencephalogram (EEG) activity traces - we demonstrate the effectiveness of our algorithm for practical applications. Furthermore, we show that our approach achieves significantly better performance than previous methods.

研究の動機と目的

• 従来の変化点検出法が事前に指定されたパラメトリックモデルに依存しており、統計的でない専門家定義のブレークポイントを検出できないという限界を解消すること。
• 平均や分散などの手作業で設計された特徴に依存するが、これは現実世界の時系列データにおける複雑な潜在的時系列パターンを捉えるのに不十分であるという課題を克服すること。
• データ分布に関する事前仮定なしに、生時系列データから階層的表現を自動で学習する教師なし深層学習フレームワークを開発すること。
• ヒューマンアクティビティ認識、音声処理、生理的信号解析などの多様な実世界応用に一般化可能であることを実現すること。
• 感度解析に基づく単純でデータ適応的なハイパーパrameterチューニング戦略を導入し、異なるデータセットに適したウィンドウサイズ、コードブックサイズ、ネットワーク深さを最適化すること。

提案手法

• 生時系列データのコン pact で階層的な表現を学習する畳み込み自己符号化器（CAE）を採用し、単純な統計をはるかに超えた複雑な時系列依存性を捉える。
• ベクトル量子化を用いて学習されたコードブックにより、潜在表現を意味的かつ解釈可能な単位に離散化し、下位の状態遷移を反映させる。
• 感度解析によるチューニングで最適化された適応的ウィンドウサイズを用いたスライディングウィンドウアプローチを採用し、異なるセグメント長を持つデータセット全体でセグメントレベルのパターンを捉える。
• 再構成損失を用いてエンドツーエンドに訓練することで、時系列構造を保持し、ブレークポイント検出に最も関連する特徴を学習可能にする。
• 学習された潜在空間における不連続性を検出することでブレークポイント位置を予測する予測ヘッドを統合し、遷移を特定するための微分可能近似を用いる。
• 検出精度とデータセット全体での一般化性能のバランスを図るため、体系的な感度解析を通じてハイパーパrameter（ウィンドウサイズ、コードブックサイズ、ネットワーク深さ）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、従来の統計的変化点検出法よりも、時系列データにおける人間が指定したブレークポイントをより効果的に検出できるか？
• RQ2 深層自己符号化器から学習された特徴は、手作業で設計された統計的特徴と比較して、ブレークポイント検出にどの程度向上効果をもたらすか？
• RQ3 本手法の性能は、異なるセグメント長分布や信号特性を示す多様な実世界データセットにおいて、どのように変動するか？
• RQ4 データ適応的ハイパーパrameterチューニング戦略は、手動での再チューニングなしに、異種の時系列データセット間でのモデル一般化を向上させられるか？
• RQ5 事前に指定された生成モデルが存在しないことで、標準的手法が見逃す非統計的で専門家定義の遷移を同定できるか？

主な発見

• 提案手法は、全評価データセットで予測損失が最小（0.025）を記録し、ベイズ的手法（例：AdamsとMacKay）や最先端のアルゴリズムを上回るブレークポイント検出性能を達成した。
• 平均して予測比が1に近い（0.98）ことを示し、ブレークポイント総数の推定が正確である一方、平均二乗誤差（MSE）は0.021と低く保たれた。
• EEGデータセットではF1スコアが0.89を記録し、次に優れた手法（F1 = 0.67）を大きく上回り、複雑な生理的信号においても高い耐障害性を示した。
• 最適なウィンドウサイズは、それぞれEEG、UCI、DCASEデータセットで自動的に25、400、20,000にチューニングされ、本手法の異なるセグメント長への適応性を示した。
• 3つのベンチマークデータセット（EEG、UCI、DCASE）において、本手法は一貫して優れた性能を示し、既存手法に比べてF1スコアで25–40％の向上を達成した。
• 図1で視覚的に確認されたように、ベイズ的手法（ガンマ分布およびガウス分布の事前分布を用いる）では微細な遷移を同定できなかったスマートフォンセンサデータに対しても、本手法はブレークポイントを正常に検出できた。