[論文レビュー] Computer Vision Self-supervised Learning Methods on Time Series

Dae-Soo Lee, Erlend Aune|arXiv (Cornell University)|Sep 2, 2021

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

この論文は、UCRおよびUEAベンチマークにおいて、時間系列データに対するコンピュータビジョン自己教師あり学習（SSL）手法、特にシアンプソンベースのフレームワーク（例：VICReg）の有効性を評価している。VIbCRegと呼ばれる改善されたSSL手法を提案し、共分散正則化の強化と反復的正規化ヘッドの追加により、収束の加速と表現品質の向上を実現している。

ABSTRACT

Self-supervised learning (SSL) has had great success in both computer vision. Most of the current mainstream computer vision SSL frameworks are based on Siamese network architecture. These approaches often rely on cleverly crafted loss functions and training setups to avoid feature collapse. In this study, we evaluate if those computer-vision SSL frameworks are also effective on a different modality ( extit{i.e.,} time series). The effectiveness is experimented and evaluated on the UCR and UEA archives, and we show that the computer vision SSL frameworks can be effective even for time series. In addition, we propose a new method that improves on the recently proposed VICReg method. Our method improves on a extit{covariance} term proposed in VICReg, and in addition we augment the head of the architecture by an iterative normalization layer that accelerates the convergence of the model.

研究の動機と目的

• 主流のコンピュータビジョン自己教師あり学習（SSL）フレームワークが、時間系列データに対しても有効であるかどうかを調査すること。
• 産業的・金融的・社会的応用において広く用いられているにもかかわらず、時間系列分野におけるSSLへの注目が不足しているという点を是正すること。
• VICReg手法の共分散正則化とモデル収束の改善を通じて、その上位互換を達成すること。
• 線形評価、微調整、SVMベースの評価を用いて、標準的な時間系列ベンチマーク上で提案手法の妥当性を検証すること。
• FDおよびFcE指標を用いて、訓練中の特徴の非相関性と成分の表現力の分析を行うこと。

提案手法

• ランダムクロップ、ランダムアマプリチュードリサイズ、ランダム垂直シフトなどのデータオーグメンテーションを適用することで、シアンプソンネットワークベースのSSLフレームワーク（SimCLR、BYOL、SimSiam、Barlow Twins、VICReg）を時間系列データに適応する。
• 共分散正則化項の改善と、投影ヘッドに反復的正規化層を導入することで、収束を加速するVICRegの改善版であるVIbCRegを提案する。
• ランダムクロップ（2種類のクロップ長：50% および 100%）と、正規分布乗数（αrar = 0.1）を用いたランダムアマプリチュードリサイズを含むデータオーグメンテーション戦略を採用する。
• 同一時間系列から得られる複数のビューを用いて、不変性、分散、共分散正則化に基づく対照的損失を計算する。
• 訓練中の学習表現の品質を監視するために、FD（特徴の非相関性）およびFcE（特徴成分の表現力）指標を導入する。
• 安定化と収束の加速を図るため、反復的正規化を備えたプロジェクターヘッドを適用し、特徴学習の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 元々画像を対象として設計された主流のコンピュータビジョンSSLフレームワークは、時間系列データに対しても効果的に適用可能か？
• RQ2 対照的フレームワークと非対照的フレームワークの両方が、UCRやUEAのような時間系列ベンチマークでどのように性能を発揮するか？
• RQ3 VICRegフレームワークを、共分散正則化とアーキテクチャの見直しによって、時間系列分野に最適化できるか？
• RQ4 投影ヘッドに反復的正規化層を追加することで、収束が加速し、表現品質が向上するか？
• RQ5 FDおよびFcE指標は、時間系列分類タスクにおける下流性能とどの程度相関するか？

主な発見

• コンピュータビジョンSSLフレームワーク（VICRegを含む）は、時間系列データに対しても有効であり、UCRおよびUEAベンチマークで強力な性能を示している。
• VIbCRegはVICRegよりも収束が早く、より優れた性能を達成しており、FD指標がほぼゼロに近づいていることから、特徴の非相関性が効果的に実現されている。
• VIbCRegのFcE指標は、迅速に1に収束しており、訓練全体を通じて強い特徴成分の表現力が維持されていることが示された。
• クロップ長を50%と100%の2種類に分けて使用したデータオーグメンテーション戦略により、表現学習が向上し、下流の分類精度が向上した。
• 投影ヘッドに反復的正規化層を導入することで、表現品質に影響を与えることなく、収束が著しく加速した。
• 線形評価およびSVMベースの評価の両方で、提案手法VIbCRegは複数のUCRデータセットにおいて、5-kNN分類精度でベースラインSSL手法を上回った。