[論文レビュー] VIbCReg: Variance-Invariance-better-Covariance Regularization for Self-Supervised Learning on Time Series

Dae-Soo Lee, Erlend Aune|arXiv (Cornell University)|Sep 2, 2021

Anomaly Detection Techniques and Applications参考文献 32被引用数 4

ひとこと要約

この論文では、自己教師あり時系列表現学習のための分散不変性・より良い共分散正則化手法であるVIbCRegを提案する。VICRegの共分散項を改善し、投影ヘッドにIterNorm層を導入することで、収束を加速し、UCRアーカイブおよびPTB-XL心電図データセットを用いた線形評価およびファインチューニングベンチマークで最先端の性能を達成する。

ABSTRACT

Self-supervised learning for image representations has recently had many breakthroughs with respect to linear evaluation and fine-tuning evaluation. These approaches rely on both cleverly crafted loss functions and training setups to avoid the feature collapse problem. In this paper, we improve on the recently proposed VICReg paper, which introduced a loss function that does not rely on specialized training loops to converge to useful representations. Our method improves on a covariance term proposed in VICReg, and in addition we augment the head of the architecture by an IterNorm layer that greatly accelerates convergence of the model. Our model achieves superior performance on linear evaluation and fine-tuning evaluation on a subset of the UCR time series classification archive and the PTB-XL ECG dataset.

研究の動機と目的

• 複雑なトレーニングループに依存せずに、自己教師あり時系列表現学習における特徴の崩壊を解消すること。
• VICRegの共分散正則化項を精緻化することで、より優れた特徴の多様性と不変性を実現すること。
• 投影ヘッドにIterNorm層を導入することで、アーキテクチャの強化によりモデルの収束を加速すること。
• 標準的な時系列ベンチマークで、線形評価およびファインチューニング性能を優れたものにすること。

提案手法

• 自己教師あり対照学習における特徴の分散と不変性を向上させるために、修正された共分散正則化項を導入する。
• 訓練の安定化と高速化を図るため、投影ヘッドにIterNorm層を統合する。
• 損失関数はVICRegのコアな対照的目的を保持するが、分散、不変性、共分散項のバランスを改善する。
• 特別なトレーニングプロトコルを避けるために、標準的なデータオーグメンテーションを用いてエンドツーエンドで学習する。
• 表現品質の評価のために、線形プローブとファインチューニングプロトコルでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 精緻化された共分散正則化項は、自己教師あり時系列学習における表現品質を向上させることができるか？
• RQ2 IterNorm層の追加により、時系列SSLにおける収束が著しく加速されるか？
• RQ3 UCRおよびPTB-XLデータセットの両方で、VIbCRegはVICRegと比較して線形評価およびファインチューニング性能で優れているか？
• RQ4 この手法は、UCRやPTB-XLのような多様な時系列データセットに一般化可能か？

主な発見

• VIbCRegは、UCR時系列分類アーカイブを用いた線形評価およびファインチューニングベンチマークで最先端の性能を達成した。
• IterNorm層の統合のおかげで、ベースライン手法と比較して収束が著しく速くなった。
• 改善された共分散正則化により、より強固で多様な特徴表現が得られた。
• 下流の評価タスクにおいて、VIbCRegはUCRおよびPTB-XL心電図データセットの両方でVICRegを上回った。