[論文レビュー] TimeAutoML: Autonomous Representation Learning for Multivariate Irregularly Sampled Time Series

Yang Jiao, Kai Yang+4 more|arXiv (Cornell University)|Oct 4, 2020

Time Series Analysis and Forecasting参考文献 47被引用数 4

ひとこと要約

TimeAutoML は、自動ハイパーパramータ最適化、ネガティブサンプル生成を伴う対照的学習、および補助分類タスクを活用することで、多次元不規則な時系列データに対する自律的・自己教師あり表現学習フレームワークを提案する。この手法は、85個のUCRデータセットのうち78個で、最高水準の性能を達成し、AUCスコアで最大20%の向上を実現した。

ABSTRACT

Multivariate time series (MTS) data are becoming increasingly ubiquitous in diverse domains, e.g., IoT systems, health informatics, and 5G networks. To obtain an effective representation of MTS data, it is not only essential to consider unpredictable dynamics and highly variable lengths of these data but also important to address the irregularities in the sampling rates of MTS. Existing parametric approaches rely on manual hyperparameter tuning and may cost a huge amount of labor effort. Therefore, it is desirable to learn the representation automatically and efficiently. To this end, we propose an autonomous representation learning approach for multivariate time series (TimeAutoML) with irregular sampling rates and variable lengths. As opposed to previous works, we first present a representation learning pipeline in which the configuration and hyperparameter optimization are fully automatic and can be tailored for various tasks, e.g., anomaly detection, clustering, etc. Next, a negative sample generation approach and an auxiliary classification task are developed and integrated within TimeAutoML to enhance its representation capability. Extensive empirical studies on real-world datasets demonstrate that the proposed TimeAutoML outperforms competing approaches on various tasks by a large margin. In fact, it achieves the best anomaly detection performance among all comparison algorithms on 78 out of all 85 UCR datasets, acquiring up to 20% performance improvement in terms of AUC score.

研究の動機と目的

• 不規則なサンプリングレートと変動する長さを有する多次元時系列データに対する有効な表現学習の課題に対処すること。
• 表現学習パイプライン全体の構成を自動化することで、手動によるハイパーパramータチューニングを排除すること。
• 新規のネガティブサンプル生成手法と補助分類タスクを活用して、表現の質を向上させること。
• 実世界の不規則な時系列データに対して、異常検出やクラスタリングなどの多様な下流タスクにおいても強固な性能を発揮できること。

提案手法

• TimeAutoML は、不規則なサンプリング間隔に対応するための学習可能な位置符号化を備えたエンドツーエンドのオートエンコーダベースアーキテクチャを採用する。
• 表現の識別性を向上させるために、ネガティブサンプル生成戦略を用いた対照的学習目的関数を統合する。
• 正規時系列と生成されたネガティブサンプルを区別するための補助分類ヘッドを導入し、特徴学習を強化する。
• 各タスクに最適なモジュールとハイパーパramータを自動的に選択するために、ニューラルアーキテクチャサーチ（NAS）戦略を用いる。
• 潜在空間表現は、GMMを用いたクラスタリングや密度推定を用いた異常検出などの下流タスクに使用される。
• 自己教師あり損失関数 $ L_{\mathrm{self}} $ が、教師なしデータから擬似ラベルを生成することで、完全に教師なしのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自律的表現学習フレームワークは、不規則にサンプリングされた多次元時系列データにおいて、手動チューニングされたベースラインを上回ることができるか？
• RQ2 さまざまな不規則なサンプリングレート下で、TimeAutoML は異常検出やクラスタリングなどの多様な下流タスクにおいてどのように性能を発揮するか？
• RQ3 ネガティブサンプル生成と補助分類タスクは、モデルの表現能力にどの程度寄与しているか？
• RQ4 データ汚染やさまざまなサンプリングの不規則性に対して、TimeAutoML はどの程度頑健であるか？

主な発見

• TimeAutoML は、85個のUCRデータセットのうち78個で、最先端の手法と比較して最大20%のAUCスコア向上を達成し、最も優れた異常検出性能を実現した。
• モデルは不規則なサンプリングレートの下でも強く頑健であり、サンプリングレートの不規則性 $ \beta $ が 0 から 0.7 に増加しても、AUCスコアが安定した。
• 多次元時系列クラスタリングタスクにおいて、TimeAutoML は評価された5つのデータセットすべてで最高のNMIスコアを達成し、DTCR や K-shape、SPIRAL などの手法を上回った。
• アブレーションスタディの結果、自己教師あり損失 $ L_{\mathrm{self}} $ を削除すると性能が低下し、表現学習におけるその重要性が確認された。
• 潜在空間における可視化により、正常な時系列が密にクラスタリングされているのに対し、異常なシーケンスは明確に分離されていることが確認され、解釈可能な異常検出が可能であることが示された。
• このフレームワークは優れた一般化性能を示しており、データ汚染下でも性能低下がわずかに増加するにとどまり、ノイズの多い入力に対しても耐性があることが示された。