[論文レビュー] Unsupervised Scalable Representation Learning for Multivariate Time Series

Jean-Yves Franceschi, Aymeric Dieuleveut+1 more|arXiv (Cornell University)|Jan 30, 2019

Time Series Analysis and Forecasting参考文献 40被引用数 187

ひとこと要約

因果的膨張 CNN エンコーダを用い、time-based triplet lossとネガティブサンプリングで訓練された multivariate time series の universal embeddings を学習する、スケーラブルな教師なし手法を定義する。

ABSTRACT

Time series constitute a challenging data type for machine learning algorithms, due to their highly variable lengths and sparse labeling in practice. In this paper, we tackle this challenge by proposing an unsupervised method to learn universal embeddings of time series. Unlike previous works, it is scalable with respect to their length and we demonstrate the quality, transferability and practicability of the learned representations with thorough experiments and comparisons. To this end, we combine an encoder based on causal dilated convolutions with a novel triplet loss employing time-based negative sampling, obtaining general-purpose representations for variable length and multivariate time series.

研究の動機と目的

• 可変長に対応し、スケーラブルな汎用の教師なし表現学習手法を多変量時系列に対して開発する。
• 監視なしで、可変長入力から固定長の埋め込みを学習する。
• データセットやタスクを跨いだ表現の普遍性と転移性能を示す。
• 長時間の時系列やラベルが sparse な状況を含む、分類および回帰への適用性を示す。

提案手法

• 変動長の時系列を固定長の埋め込みへ写像するため、因果的膨張畳み込みのスタックに基づくエンコーダを用いる。
• ラベルなしで部分系列間の類似度を学習するため、word2vec に触発された時間ベースのトリプレット損失とネガティブサンプリングを導入する。
• グローバル最大プーリングと線形射影によって固定長出力を得るデコーダーペアなしのエンコーダを訓練する。
• 転送可能な表現を生成するため、サブ系列長の範囲で訓練して可変長入力を許容する。
• メモリ節約のため、各項目の逆伝播に焦点を当てた、複雑さ O(K * c(f)) の効率的な訓練手順を提供する。
• 埋め込みの上に単純な分類器（SVM）を訓練して表現を評価し、転移実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなエンコーダの教師なし訓練は、多変量時系列に対して普遍的で転移可能な表現を生み出すことができるか？
• RQ2 時間ベースのトリプレット損失とネガティブサンプリングは、ラベルなしで類似サブ系列と非類似サブ系列を効果的に識別できるか？
• RQ3 可変長の時系列から得られる固定長埋め込みは、多様なデータセットに跨る分類や回帰といった下流タスクに有用か？
• RQ4 標準的な時系列ベンチマークにおける、提案手法は他の教師なしおよび教師あり手法とどのように比較されるか？
• RQ5 長時間の時系列と多変量データに対して、表現は効率を保ちながらスケールできるか？

主な発見

• 本手法はデータセット間で転用可能な高品質な表現を生み出す。
• いくつかのUCRデータセットで競合する他の教師なし手法を上回り、いくつかの設定で最先端の教師あり手法に迫る。
• 表現はスパースラベル学習を効果的に可能にし、ラベルが少ない場合はしばしば完全教師ありのベースラインを上回る。
• 学習された埋め込みは、長い時系列の回帰など、非分類タスクにも有用である。
• 第一層を調整することでエンコーダは多変量入力に対応でき、UEA multivariateアーカイブで競争力のある結果を達成する。
• 長い実世界の時系列において、推論時のデータサイズを大幅に削減しつつ予測性能の低下を最小限に抑える。）],
• table_headers:[]
• table_rows:[]