[論文レビュー] Deep Learning for Multi-Scale Changepoint Detection in Multivariate Time Series

Zahra Ebrahimzadeh, Min Zheng+2 more|arXiv (Cornell University)|May 16, 2019

Time Series Analysis and Forecasting参考文献 29被引用数 9

ひとこと要約

本論文は、多変量時系列におけるマルチスケールの変化点検出のための新しい深層学習アーキテクチャ、ピラミッド再帰ニューラルネットワーク（PRN）を提案する。トレーニング可能なウェーブレット層とピラミッド解析を統合することで、急激な変化および徐々に変化する変化点の両方をスケール不変に検出可能となり、合成データおよび OPPORTUNITY やミツバチのダンス行動データを含む実世界のデータセットにおいて、未学習の時間スケールに対しても、最先端の手法を上回る精度と一般化性能を達成した。

ABSTRACT

Many real-world time series, such as in health, have changepoints where the system's structure or parameters change. Since changepoints can indicate critical events such as onset of illness, it is highly important to detect them. However, existing methods for changepoint detection (CPD) often require user-specified models and cannot recognize changes that occur gradually or at multiple time-scales. To address both, we show how CPD can be treated as a supervised learning problem, and propose a new deep neural network architecture to efficiently identify both abrupt and gradual changes at multiple timescales from multivariate data. Our proposed pyramid recurrent neural network (PRN) provides scale-invariance using wavelets and pyramid analysis techniques from multi-scale signal processing. Through experiments on synthetic and real-world datasets, we show that PRN can detect abrupt and gradual changes with higher accuracy than the state of the art and can extrapolate to detect changepoints at novel scales not seen in training.

研究の動機と目的

• 既存の変化点検出（CPD）手法がユーザー指定のモデルを必要とし、徐々に変化する変化点やマルチスケールの変化点に対処できないという限界を解決すること。
• 各新しい期間に対して再トレーニングを必要とせずに、時間スケールに一般化可能な深層学習ベースのCPDフレームワークを開発すること。
• エンドツーエンドトレーニング可能なアーキテクチャを用いて、多変量時系列における急激な変化および徐々に変化する変化点の両方を正確に検出できること。
• ウェーブレットに基づく階層的特徴抽出とピラミッド解析を通じて、スケール不変性を統合すること。
• トレーニング中に観測されなかった新しい時間スケールに対しても一般化できることを示すこと。

提案手法

• データから最適なウェーブレットフィルタを学習可能なトレーニング可能なウェーブレット層を提案し、マルチスケール表現学習を可能にする。
• 階層的プーリングと特徴統合を通じて、複数の解像度で時系列を処理するピラミッド再帰ニューラルネットワーク（PRN）を導入する。
• ウェーブレット変換を用いて入力信号を異なるスケールのサブバンドに分解し、時間的パターンを長期間にわたって捉える。
• ピラミッド解析を適用して、段階的にダウンサンプリングおよび特徴を統合することで、長距離依存性を保持するとともにスケール不変性を実現する。
• CPDを教師あり学習問題として扱い、さまざまな遷移速度を持つラベル付き変化点を含む合成データでモデルをトレーニングする。
• 許容ウィンドウ（η）を用いて予測と真値を照合する際の精度と再現率を最適化する損失関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、多変量時系列における急激な変化点および徐々に変化する変化点の両方を高い精度で検出可能か？
• RQ2 トレーニング中に観測されなかった時間スケールでの変化点に対しても、モデルは一般化可能か？
• RQ3 ウェーブレット変換とピラミッドアーキテクチャの統合により、CPDにおけるスケール不変性が向上するか？
• RQ4 提案されたPRNは、さまざまな許容ウィンドウ（η）の閾値において、最先端の手法と比較してAUC性能に優れているか？
• RQ5 複雑でノイズが多く、非定常なパターンを示す実世界のデータセットにおいて、モデルは頑健な性能を維持できるか？

主な発見

• 合成データにおいて、PRNはすべてのタイプの変化点でトレーニングした場合、η=512でAUC 0.869を達成し、ベースラインモデル（HM-RNN: 0.142、CNN: 0.808）を著しく上回った。
• 「急激な変化でトレーニングし、徐々に変化する変化点でテスト」の設定では、PRNはη=512でAUC 0.876を達成し、次に良いモデル（DWN: 0.835）を上回った。
• 「徐々に変化する変化点でトレーニングし、急激な変化点でテスト」の設定では、PRNはη=512でAUC 0.830を達成し、DWN（0.834）とCNN（0.830）を上回り、未学習の変化タイプに対しても優れた一般化性能を示した。
• OPPORTUNITY データセットでは、PRNはη=128でAUC 0.833を達成し、CNN（0.710）とGGM（0.065）を著しく上回り、誤検出が少なく、真値の変化点と良好に一致した。
• ミツバチのダンス行動データでは、PRNはη=32、64、128で最高のAUC 0.932を達成し、ノイズが多く複雑な実世界の環境でも頑健で信頼性の高い性能を示した。
• PRNは、すべての許容ウィンドウ（η）レベルで高い性能を維持することで、スケール不変性を示した。これは、トレーニング中に観測されなかった新しいスケールでさえ、変化点を検出可能であることを示している。