[論文レビュー] A Transformer-based Framework for Multivariate Time Series Representation Learning

George Zerveas, Srideepika Jayaraman+3 more|arXiv (Cornell University)|Oct 6, 2020

Time Series Analysis and Forecasting被引用数 10

ひとこと要約

本論文は、ラベルなしデータ上で事前学習を行うための自己符号化目的を用いた、変動する時系列の教師なし表現学習のための新しいトランスフォーマー基盤フレームワークを提案する。このフレームワークは、教師あり手法でさえも上回る、教師なし学習の最先端性能を達成しており、特にラベル付きデータが限られた状況でも優れた性能を発揮する。また、同じ訓練サンプルを再利用しても、教師なし事前学習が性能向上に寄与することを示している。

ABSTRACT

In this work we propose for the first time a transformer-based framework for unsupervised representation learning of multivariate time series. Pre-trained models can be potentially used for downstream tasks such as regression and classification, forecasting and missing value imputation. By evaluating our models on several benchmark datasets for multivariate time series regression and classification, we show that not only does our modeling approach represent the most successful method employing unsupervised learning of multivariate time series presented to date, but also that it exceeds the current state-of-the-art performance of supervised methods; it does so even when the number of training samples is very limited, while offering computational efficiency. Finally, we demonstrate that unsupervised pre-training of our transformer models offers a substantial performance benefit over fully supervised learning, even without leveraging additional unlabeled data, i.e., by reusing the same data samples through the unsupervised objective.

研究の動機と目的

• トランスフォーマーを用いた、多変量時系列の一般用途の教師なし表現学習フレームワークの開発。
• 同じラベル付きデータサンプルを再利用する場合でも、教師なし事前学習が時系列回帰および分類の下流タスク性能を向上させることを検証すること。
• 異なるデータサイズおよび次元数を有する多様な多変量時系列ベンチマークにおいて、トランスフォーマー基盤モデルの有効性を評価すること。
• 本提案フレームワークの計算効率およびスケーラビリティを示すこと、特にCPU上でも有効に動作することを確認すること。
• 得られた表現が、補完、予測、類似性解析などの下流タスクにどのように有効に利用できるかを検討すること。

提案手法

• フレームワークは、多変量時系列の密な文脈的表現を学習するために、マルチヘッド自己注意機構を有するトランスフォーマーエンコーダーを採用する。
• 教師なし事前学習は、入力系列内のマスクされたトークンを再構築する自己符号化目的を用いて実施される。
• 時間的順序を保持するために、学習可能な位置埋め込みを用い、不規則にサンプリングされたまたは長さが可変な系列に対しても有効である。
• 事前学習後、回帰や分類などの下流タスクのためのエンドツーエンドのファインチューニングが実施される。
• 推論時におけるマスキングパターンを変更することで、同じアーキテクチャとトレーニング設定を補完や予測タスクに適応可能である。
• フレームワークは、多様な分野やデータ特性を有する11の公開多変量時系列データセット上で評価されている。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤モデルは、教師あり事前学習のみを用いて、多変量時系列分類および回帰で最先端性能を達成できるか？
• RQ2 追加のラベルなしデータを用意しない状況でも、教師なし事前学習が、同じラベル付きデータサンプルを再利用した完全に教師ありの学習よりも性能を向上させるか？
• RQ3 非常に少ない訓練サンプル（例：数100件）を有するデータセットでは、このフレームワークはどのように性能を発揮するか？
• RQ4 得られた表現が、補完や予測などの下流タスクに有効に利用できるか？
• RQ5 次元数や長さが異なるデータセットにおいて、モデルの性能はどのように変化するか？

主な発見

• 提案フレームワークは、多変量時系列回帰および分類の11のベンチマークデータセットにおいて、すべての先行手法（教師ありディープラーニングおよび非ディープラーニングの最先端手法を含む）を上回る最先端の性能を達成した。
• InsectWingBeatデータセット（30k件のサンプル、200次元）において、モデルは正解率0.689を達成し、2番目に優れた手法であるXGBoost（0.369）を著しく上回った。
• 追加のラベルなしデータを用意しない状況でも、教師あり手法の性能を上回った。これは、同じ訓練サンプルを再利用する教師なし事前学習が、性能向上に寄与することを示している。
• 数100件の訓練サンプルを有するデータセットに対しても、強力な性能を発揮した。11のデータセットのうち8つで性能向上が観察された。
• モデルは計算効率が高く、CPU上でも効果的に学習可能であり、最も高速な非ディープラーニング手法と同等の学習速度を達成した。
• 得られた表現は高品質な補完を可能にした。自己符号化タスクにおいて、平均二乗誤差がほぼゼロに近づき、優れた再構築能力を示した。