[論文レビュー] SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling

Jiaxiang Dong, Haixu Wu+4 more|arXiv (Cornell University)|Feb 2, 2023

Time Series Analysis and Forecasting被引用数 30

ひとこと要約

SimMTMはマスクされた時系列の事前学習を、複数のマスクされた近傍から元の系列を再構成することで再定義し、系列ごとの類似性を用いた適応的な集約を行い、予測と分類におけるファインチューニング性能を領域内および領域間設定で最先端に導く。

ABSTRACT

Time series analysis is widely used in extensive areas. Recently, to reduce labeling expenses and benefit various tasks, self-supervised pre-training has attracted immense interest. One mainstream paradigm is masked modeling, which successfully pre-trains deep models by learning to reconstruct the masked content based on the unmasked part. However, since the semantic information of time series is mainly contained in temporal variations, the standard way of randomly masking a portion of time points will seriously ruin vital temporal variations of time series, making the reconstruction task too difficult to guide representation learning. We thus present SimMTM, a Simple pre-training framework for Masked Time-series Modeling. By relating masked modeling to manifold learning, SimMTM proposes to recover masked time points by the weighted aggregation of multiple neighbors outside the manifold, which eases the reconstruction task by assembling ruined but complementary temporal variations from multiple masked series. SimMTM further learns to uncover the local structure of the manifold, which is helpful for masked modeling. Experimentally, SimMTM achieves state-of-the-art fine-tuning performance compared to the most advanced time series pre-training methods in two canonical time series analysis tasks: forecasting and classification, covering both in- and cross-domain settings.

研究の動機と目的

• ラベリングの必要性を減らすための時系列の自己教師あり事前学習を動機づける。
• 時間的変動を保持することによるマスクされた時系列の再構成の難しさに対処する。
• 局所的な構造を明らかにするために、複数のマスクされた近傍から再構成する流儀にインスパイアされた多様体に触発されたフレームワークを提案する。
• SimMTMが領域を横断した予測と分類のファインチューニング性能で最先端を達成することを示す。

提案手法

• 各サンプルについて複数のマスク済みビューを作成するために時系列をマスクする。
• 各ビューをエンコードしてポイントワイズ表現を得て、系列ごと（グローバル）表現を学習する。
• 表現空間で系列ごとの類似性を計算して近傍グラフを形成する。
• 近傍系列のポイントワイズ表現をソフトマックス重み付き係数で集約して元の系列を再構成する。
• 再構成損失と局所一貫性制約を組み合わせて学習し、流れの多様体構造を保持する; 不確実性ベースのチューニングで損失重みを適応させる。

実験結果

リサーチクエスチョン

• RQ1 複数のマスクされた近傍から再構成することは、単一ビューからの再構成と比較して時間的変動の学習を改善しますか？
• RQ2 近傍（多様体）制約を取り入れることで、下流の予測と分類のための表現品質は向上しますか？
• RQ3 ドメイン横断の転移学習（あるデータセットで事前学習し、別のデータセットでファインチューニングする）がSimMTMによって改善されますか？
• RQ4 異なるマスキング比率rとマスクされたビューの数Mは性能にどう影響しますか？

主な発見

• SimMTMは領域内および領域間設定の予測と分類で最先端のファインチューニング性能を達成する。
• 予測では、SimMTMはTi-MAEを8.3%、CoSTを14.7%上回る平均MSE削減、Ti-MAEを4.3%、CoSTを12.0%上回るMAE削減を達成。
• 分類では、SimMTMは競合するマスク付きモデリングおよびコントラスト法を上回り、特にクロスドメインのSleepEEGからEMGへの転送で顕著な改善を示す（例: 精度が81.74%から97.56%へ向上）。
• アブレーション研究は、再構成損失と近傍制約の両方が不可欠であり、制約損失は複雑な転送で特に寄与することを示す。
• SimMTMは多様なベースモデル全般にわたり一般化し、データが限られたファインチューニングシナリオでも効果的である。