[論文レビュー] Ti-MAE: Self-Supervised Masked Time Series Autoencoders

Zhe Li, Zhongwen Rao+3 more|ArXiv.org|Jan 21, 2023

Time Series Analysis and Forecasting被引用数 14

ひとこと要約

Ti-MAE は、ランダムにマスクされたポイントレベルの時系列トークンを再構成する自己監視型のマスク付き時系列オートエンコーダで、対比表現学習と生成系Transformerモデルを結びつけ、予測と分類を可能にします。

ABSTRACT

Multivariate Time Series forecasting has been an increasingly popular topic in various applications and scenarios. Recently, contrastive learning and Transformer-based models have achieved good performance in many long-term series forecasting tasks. However, there are still several issues in existing methods. First, the training paradigm of contrastive learning and downstream prediction tasks are inconsistent, leading to inaccurate prediction results. Second, existing Transformer-based models which resort to similar patterns in historical time series data for predicting future values generally induce severe distribution shift problems, and do not fully leverage the sequence information compared to self-supervised methods. To address these issues, we propose a novel framework named Ti-MAE, in which the input time series are assumed to follow an integrate distribution. In detail, Ti-MAE randomly masks out embedded time series data and learns an autoencoder to reconstruct them at the point-level. Ti-MAE adopts mask modeling (rather than contrastive learning) as the auxiliary task and bridges the connection between existing representation learning and generative Transformer-based methods, reducing the difference between upstream and downstream forecasting tasks while maintaining the utilization of original time series data. Experiments on several public real-world datasets demonstrate that our framework of masked autoencoding could learn strong representations directly from the raw data, yielding better performance in time series forecasting and classification tasks.

研究の動機と目的

• 時系列における対比学習と生成型Transformerアプローチのギャップを埋める。
• 最小限の帰納的バイアスで生データの時系列から直接強力な表現を学習する。
• マスク付き自己符号化を通じて長期シーケンスの予測と時系列分類を改善する。
• 再学習なしに複数の予測ホライズンに適用可能な柔軟な事前学習フレームワークを提供する。
• 実世界データセットでのスケーラビリティと有効性を示す。

提案手法

• 1-Dの畳み込み層で時系列をトークン化し、固定のサイン波位置埋め込みを追加する。
• 埋め込まれた時系列トークンのサブセットをランダムにマスクし、可視なトークンのみをTransformerエンコーダに入力する。
• エンコードされた可視トークンおよびマスクトークンから、元のシーケンスをポイントレベルで再構成する軽量なTransformerデコーダを用いる。
• マスキング領域での元の値と再構成値の平均二乗誤差で学習する。
• エンコーダがデコーダより重く、日付特有の埋め込みを使用しない非対称のMAE風アーキテクチャを採用する。
• マスキング比が約75%で最適な性能を示し、ランダムマスキングが追加データ拡張なしで多様なビューを提供することを示す。

実験結果

リサーチクエスチョン

• RQ1 Ti-MAE は多様な実世界の多変量時系列データセットに対して予測精度を向上させる表現を学習できるか？
• RQ2 予測および分類タスクにおいて、連続マスキングよりランダムマスキングは分布シフトをより緩和するか？
• RQ3 マスキング比、入力シーケンス長、デコーダ設計が学習表現の質と下流パフォーマンスに与える影響は？
• RQ4 Ti-MAE は重いデータ拡張や階層的事前知識を用いず、直接表現学習器として時系列分類に有効か？

主な発見

• Ti-MAE は表現学習ベースラインと比較して、ETTh、Weather、Exchange、ILI のデータセットの複数のホライズンで予測性能を一貫して向上させる。
• Ti-MAE はベースラインに対して、15.7%（ETTh）、42.3%（Weather）、45.5%（Exchange）、19.2%（ILI）のMAE低下を達成。
• 事前学習済みの Ti-MAE は、凍結したエンコーダと単純な線形投影を用いて、異なるホライズンでの微調整を行い、追加の回帰器なしで利用できる。
• 分類の 128 個の UCR データセットに対して、Ti-MAE は平均精度 0.8231 を達成し、他の教師なし法と競合する順位（平均順位 2.054）でランキングされる。
• アブレーション研究は、最適なマスキング比が約75%であること、軽量デコーダを用いたランダムマスキングが時系列の再構成および下流タスクに有効であることを示している。