[論文レビュー] Self-Supervised Time Series Representation Learning by Inter-Intra Relational Reasoning

Haoyi Fan, Fengbin Zhang+1 more|arXiv (Cornell University)|Nov 27, 2020

Time Series Analysis and Forecasting参考文献 52被引用数 23

ひとこと要約

SelfTimeは、時間系列の局所的・大域的構造的パターンを捉えるために、サンプル間および時間内関係を統合的にモデル化する自己教師あり時間系列表現学習フレームワークを提案する。サンプルからのポジティブ／ネガティブサンプルを用いた関係的推論と、マルチスケールの時間的ピース関係を活用することで、複数の時間系列分類ベンチマークで最先端の性能を達成し、転移学習設定では従来手法を最大20.2%上回った。

ABSTRACT

Self-supervised learning achieves superior performance in many domains by extracting useful representations from the unlabeled data. However, most of traditional self-supervised methods mainly focus on exploring the inter-sample structure while less efforts have been concentrated on the underlying intra-temporal structure, which is important for time series data. In this paper, we present SelfTime: a general self-supervised time series representation learning framework, by exploring the inter-sample relation and intra-temporal relation of time series to learn the underlying structure feature on the unlabeled time series. Specifically, we first generate the inter-sample relation by sampling positive and negative samples of a given anchor sample, and intra-temporal relation by sampling time pieces from this anchor. Then, based on the sampled relation, a shared feature extraction backbone combined with two separate relation reasoning heads are employed to quantify the relationships of the sample pairs for inter-sample relation reasoning, and the relationships of the time piece pairs for intra-temporal relation reasoning, respectively. Finally, the useful representations of time series are extracted from the backbone under the supervision of relation reasoning heads. Experimental results on multiple real-world time series datasets for time series classification task demonstrate the effectiveness of the proposed method. Code and data are publicly available at https://haoyfan.github.io/.

研究の動機と目的

• 既存の自己教師あり手法が主にサンプル間構造に注目している一方で、時間系列における時間内依存性を無視するという限界を是正すること。
• ラベルなし時間系列において、大域的（サンプルレベル）および局所的（時間的レベル）の構造的パターンを捉える汎用性の高いフレームワークの開発。
• 複数レベルの関係的構造を推論するプロキシタスクを設計することで、表現学習の向上。
• 多様な実世界の時間系列データセットにおける、学習済み表現の転送可能性および頑健性の評価。

提案手法

• フレームワークは、時間系列入力およびその拡張ビューからの特徴抽出に共通のバックボーンネットワークを用いる。
• サンプル間関係は、特定のアンカーに対してポジティブ（拡張ビュー）およびネガティブ（遠く離れたサンプル）ペアをサンプリングすることでモデル化する。
• 時間内関係は、同じアンカーから抽出した時間ピースセグメントを用い、時間的距離に基づいてマルチスケールの時間的関係を構築することで捉える。
• 2つの専用の関係的推論ヘッドを用いる：1つはサンプル間類似度の定量的評価、もう1つは時間的パターン推論。
• 共有バックボーンから抽出された表現を用い、対照的損失を用いてエンドツーエンドでモデルを訓練し、関係的予測を最適化する。
• マルチスケール時間的関係サンプリング戦略により、短期・中期・長期の時間的依存性をモデル化可能。

実験結果

リサーチクエスチョン

• RQ1 サンプル間および時間内関係の両方をモデル化することで、自己教師あり時間系列表現学習が向上するか？
• RQ2 マルチスケール時間的関係の組み込みが、学習済み表現の質にどのように影響するか？
• RQ3 提案手法は多様な時間系列ドメインに一般化可能であり、既存の自己教師ありベースラインを上回るか？
• RQ4 学習済み表現が、ラベル付きデータが限られた下流分類タスクにどの程度転送可能か？
• RQ5 異なるデータ拡張および関係サンプリング戦略が、最終的な性能にどのように影響するか？

主な発見

• SelfTimeは、複数の時間系列分類ベンチマークで新たな最先端性能を達成し、既存の自己教師あり手法を上回った。
• IWS → DLDの転送タスクでは、Deep InfoMaxに対して20.2%、Relationに対して6.81%の向上を達成した。
• UGLA → CricketXの転送設定では、Relationに対して4.73%、Deep InfoMaxに対して9.06%の改善を示した。
• t-SNE可視化により、SelfTimeはベースラインと比較してより意味的に一貫性があり、良好にクラスタリングされた表現を学習していることが確認された。
• 本手法は強力な転送性を示し、評価された全ソース・ターゲットドメイン転送シナリオにおいて一貫した向上を示した。
• アブレーションスタディにより、サンプル間および時間内関係的推論の両方が性能向上に寄与していることが確認され、特に局所的時間的パターンを捉える点で顕著な有効性を示した。