[論文レビュー] Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping

Vandan Gorade, Azad Singh+1 more|arXiv (Cornell University)|Apr 24, 2022

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、同一の時間系列データの2つのビューに同一のオーグメンテーションを適用し、受容 field が異なる時間的畳み込みネットワーク（TCN）を用いて、低周波数および高周波数特徴を同時に捉える、重み共有のシアンプス型ネットワークを用いた非対照的自己教師付き学習フレームワークを提案する。この手法により、5つの実世界のデータセットで最先端の性能を達成し、対照的学習や他の自己教師付きアプローチを上回る結果を得た。さらに、ラベル付きデータの10%のみを用いても優れた性能を発揮した。

ABSTRACT

Learning representation from unlabeled time series data is a challenging problem. Most existing self-supervised and unsupervised approaches in the time-series domain do not capture low and high-frequency features at the same time. Further, some of these methods employ large scale models like transformers or rely on computationally expensive techniques such as contrastive learning. To tackle these problems, we propose a non-contrastive self-supervised learning approach efficiently captures low and high-frequency time-varying features in a cost-effective manner. Our method takes raw time series data as input and creates two different augmented views for two branches of the model, by randomly sampling the augmentations from same family. Following the terminology of BYOL, the two branches are called online and target network which allows bootstrapping of the latent representation. In contrast to BYOL, where a backbone encoder is followed by multilayer perceptron (MLP) heads, the proposed model contains additional temporal convolutional network (TCN) heads. As the augmented views are passed through large kernel convolution blocks of the encoder, the subsequent combination of MLP and TCN enables an effective representation of low as well as high-frequency time-varying features due to the varying receptive fields. The two modules (MLP and TCN) act in a complementary manner. We train an online network where each module learns to predict the outcome of the respective module of target network branch. To demonstrate the robustness of our model we performed extensive experiments and ablation studies on five real-world time-series datasets. Our method achieved state-of-art performance on all five real-world datasets.

研究の動機と目的

• 既存の自己教師付き時間系列手法が、同時に低周波数および高周波数の時間的パターンを捉えることの制限を解消すること。
• 計算コストの高い対照的学習やトランスフォーマーのような大規模モデルを避ける、コスト効率の良い非対照的学習フレームワークの開発。
• 同じオーグメンテーションファミリーを用いて同一時間系列の2つの拡張ビューを生成することで、潜在的特徴をブートストラップし、表現の一般化性能を向上させること。
• 最小限のラベル付きデータで、多様な実世界の時間系列データセットに対して堅牢な性能を示すこと。

提案手法

• フレームワークは、同じ時間系列データの異なる2つのオーグメント済みビューを処理する、重みを共有する2本のブランチを持つシアンプス型ニューラルネットワークを採用する。
• 各ブランチの後続には、多層パーセプトロン（MLP）を用いる低周波数特徴ブートストラップ（LFFB）モジュールと、時間的畳み込みネットワーク（TCN）を用いる高周波数特徴ブートストラップ（HFFB）モジュールが配置される。
• オーグメンテーションは、1つのファミリー（ジャイタ、パーミュテーション、ローテーション）からサンプリングされ、一貫性を保ちつつ負例ペアの計算を回避する。
• TCNヘッドは、異なるカーネルサイズと拡張率を用いたドレインド畳み込みを用い、複数の時間スケールにわたる長距離依存関係を捉える。
• LFFB および HFFB モジュールからの監視信号を統合するバランスの取れた損失関数を採用し、学習可能なバランス要因 λ を用いて各モジュールの寄与度を重み付けする。
• 対照的学習の計算負荷を回避するため、正例ペアのみを用いてエンドツーエンドでモデルを学習する。

Figure 1: Given an input sample x, model creates two augmented versions $x_{1}\sim t$ and $x_{2}\sim t^{{}^{\prime}}$ , where $t$ and $t^{{}^{\prime}}$ are sampled from a set $T$ of augmentations. $x_{1}$ and $x_{2}$ pass through the backbone encoders parameterized by $\theta$ and $\epsilon$ which g

実験結果

リサーチクエスチョン

• RQ1 負例ペアに依存せずに、時間系列データにおいて補完的である低周波数および高周波数表現を効果的に学習できる非対照的自己教師付き学習アプローチは可能か？
• RQ2 特に、2つのビューに同じオーグメンテーションファミリーを適用する戦略が、表現品質およびモデルの一般化性能に与える影響は何か？
• RQ3 バックボーンエンコーダーに対して最適なTCNカーネルサイズおよび拡張率の設定は何か？ これは、複数スケールの時間的パターンを捉えるために重要である。
• RQ4 本手法は、最小限のラベル付きデータで、多様な時間系列データセットにどの程度一般化可能か？

主な発見

• 提案手法は、HAR、ECG、EEG を含む5つの実世界時間系列データセットで最先端の性能を達成し、既存の対照的および非対照的手法を上回った。
• HAR データセットでは、バックボーンのカーネルサイズより小さいTCNカーネルサイズと、TCNカーネルサイズより大きい拡張率を用いた場合、マクロF1スコアが93.28 ± 0.36に達した。
• バランス要因 λ が極端な値（例：λ = 500）に設定された場合、マクロF1スコアが87.56 ± 13.26に著しく低下し、λ の選択に感受性があることが示された。
• ラベル付きデータの10%のみを用いても、ほぼ教師あり学習に近い性能を達成した。これは、優れたデータ効率性を示している。
• アブレーションスタディの結果、2つのビューに同じオーグメンテーションファミリーを適用する戦略が、混合オーグメンテーション戦略よりも優れた性能を発揮することが確認された。
• 最適な設定は、TCNカーネルサイズがバックボーンのカーネルサイズより大きく、かつ拡張率がTCNカーネルサイズを上回る場合であり、特徴の多様性が最大化される。