[論文レビュー] Learning to Embed Time Series Patches Independently

Seunghan Lee, Taeyoung Park+1 more|arXiv (Cornell University)|Dec 27, 2023

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本稿では、自己教師あり手法であるPITS（Time Series用のパッチ独立性）を提案する。PITSは、注意機構を用いてマスクされたパッチを予測するのではなく、単純なMLPを用いてマスクされていないパッチを独立して再構築することで、時系列表現学習を向上させる。PITSは予測と分類の両タスクで最先端の性能を達成しており、従来のTransformerベースのモデルと比較して、パrameter数が著しく少なく、推論がはるかに高速である。

ABSTRACT

Masked time series modeling has recently gained much attention as a self-supervised representation learning strategy for time series. Inspired by masked image modeling in computer vision, recent works first patchify and partially mask out time series, and then train Transformers to capture the dependencies between patches by predicting masked patches from unmasked patches. However, we argue that capturing such patch dependencies might not be an optimal strategy for time series representation learning; rather, learning to embed patches independently results in better time series representations. Specifically, we propose to use 1) the simple patch reconstruction task, which autoencode each patch without looking at other patches, and 2) the simple patch-wise MLP that embeds each patch independently. In addition, we introduce complementary contrastive learning to hierarchically capture adjacent time series information efficiently. Our proposed method improves time series forecasting and classification performance compared to state-of-the-art Transformer-based models, while it is more efficient in terms of the number of parameters and training/inference time. Code is available at this repository: https://github.com/seunghan96/pits.

研究の動機と目的

• 時系列パッチ間の依存関係をモデル化することが、効果的な表現学習に不可欠であるという仮定に挑戦すること。
• パッチ間の注意機構からパッチ処理を分離することで、時系列表現学習の効率性と頑健性を向上させること。
• 分布シフトやパッチサイズの変動に対してより頑健な自己教師あり事前学習戦略を開発すること。
• 独立したパッチ埋め込みと補完的対照的学習を組み合わせた、軽量で解釈可能なアーキテクチャを提唱すること。

提案手法

• マスクされたパッチの予測に依存しない、パッチ独立（PI）の事前学習タスクを提案。マスクされていないパッチの再構築を実行することで、パッチ間の依存関係に依存しない。
• 各パッチを独立して処理する単純なMLPベースのエンコーダーを採用。注意機構を排除することで、パッチ独立性を強制する。
• 同じ時系列サンプルに対して補完的ランダムマスキングを用いてポジティブペアを生成することで、補完的対照的学習（CL）を導入。
• 注意機構を用いないで隣接する時間的パターンを効率的に捉えるために、階層的対照的学習を用いる。
• マスクされていないパッチの再構築と対照的学習を組み合わせ、局所的表現の質とグローバル構造の両方を同時に最適化。
• PIタスクの再構築損失とCLタスクの対照的損失の両方を含むマルチタスク目的関数を用いて、エンドツーエンドでモデルを訓練。

実験結果

リサーチクエスチョン

• RQ1 マスクされていないパッチを独立して再構築することにより、マスクされたパッチを予測する手法と比較して、より優れた時系列表現が得られるか？
• RQ2 単純なMLPベースのアーキテクチャが、注意機構を用いたTransformerよりも、時系列表現学習で優れた性能を発揮できるか？
• RQ3 パッチ独立性は、分布シフトや異なるパッチサイズに対する頑健性にどのように影響するか？
• RQ4 補完的対照的学習は、注意機構を用いずに局所的時間的依存関係を効率的に捉えることができるか？
• RQ5 提案手法は、最先端の自己教師あり時系列モデルと比較して、パrameter数と計算コストの両面でより効率的か？

主な発見

• PITSは、時系列予測と分類の両タスクで最先端の性能を達成し、PatchTST、TimeMAE、FEDFormerを含むSOTA手法を上回った。
• ETTm2データセットでは、PatchTSTと比較して推論時間を56％短縮（3.3秒 vs. 7.5秒）し、パrameter数を99.9％削減（5,772 vs. 406,028）した。
• PIタスクは分布シフトに対して優れた頑健性を示し、PDベースのモデルが失敗するようなテストデータの分布シフト下でも性能を維持した。
• MLPベースのPIアーキテクチャは、より解釈可能な表現を生成した：t-SNE可視化では明確なクラス分離が観察され、注目マップからは季節的パターンが明確に抽出された。
• 補完的対照的学習はベースラインCLよりも性能を向上させ、階層的CLを組み合わせることでさらに結果が向上した。
• PIアーキテクチャはパッチサイズの変化に対しても頑健で、さまざまなパッチ長さにおいて一貫した性能を維持した。