[論文レビュー] LB-SimTSC: An Efficient Similarity-Aware Graph Neural Network for Semi-Supervised Time Series Classification

Wenjie Xi, Arnav Jain+2 more|arXiv (Cornell University)|Jan 12, 2023

Time Series Analysis and Forecasting被引用数 8

ひとこと要約

LB-SimTSCはDTWベースのグラフ構築をSimTSCから置換し、LB_Keoghベースの線形時間グラフを用いて、精度の大幅な低下を招くことなくスケーラブルな半教師付き時系列分類を実現します。

ABSTRACT

Time series classification is an important data mining task that has received a lot of interest in the past two decades. Due to the label scarcity in practice, semi-supervised time series classification with only a few labeled samples has become popular. Recently, Similarity-aware Time Series Classification (SimTSC) is proposed to address this problem by using a graph neural network classification model on the graph generated from pairwise Dynamic Time Warping (DTW) distance of batch data. It shows excellent accuracy and outperforms state-of-the-art deep learning models in several few-label settings. However, since SimTSC relies on pairwise DTW distances, the quadratic complexity of DTW limits its usability to only reasonably sized datasets. To address this challenge, we propose a new efficient semi-supervised time series classification technique, LB-SimTSC, with a new graph construction module. Instead of using DTW, we propose to utilize a lower bound of DTW, LB_Keogh, to approximate the dissimilarity between instances in linear time, while retaining the relative proximity relationships one would have obtained via computing DTW. We construct the pairwise distance matrix using LB_Keogh and build a graph for the graph neural network. We apply this approach to the ten largest datasets from the well-known UCR time series classification archive. The results demonstrate that this approach can be up to 104x faster than SimTSC when constructing the graph on large datasets without significantly decreasing classification accuracy.

研究の動機と目的

• 時系列分類におけるラベル不足の課題を半教師付き学習で解決する。
• 二乗的なDTWの代わりに線形時間の下限を用いて、類似性意識型GCNアプローチのスケーラビリティを向上させる。
• 大規模データセットに対して、ワープ処理対応の表現を保持しつつ効率的なグラフ構築を実現する。

提案手法

• ラベル付き時系列とラベルなし時系列を等数で含むバッチを作成する。
• DTWの下限としてLB_Keoghを用いたLB-Graphを構築し、ペアごとの距離をO(L)で近似する。
• LB_Keogh距離を親和性に変換し、スパース化してバッチグラフG^Bを形成し、計算効率とGPU適合性を確保する。
• バックボーンニューラルネットワーク（ResNetベース）でバッチデータを埋め込み、G^B上でGraph Convolutional Networkにより情報を伝播させる。
• Softmaxを用いたエンドツーエンド訓練により、各バッチ内のラベル付きサンプルからラベル情報をラベルなしインスタンスへ流すことを可能にする。

実験結果

リサーチクエスチョン

• RQ1 LB_Keoghベースのグラフ構築は、DTWに対して半教師付きTSCのためのワープ対応シグナルを提供できるか。
• RQ2 LB-SimTSCフレームワークは、精度を犠牲にすることなく大規模時系列データセット上でグラフ構築を大幅に高速化できるか。
• RQ3 5ラベル以上の設定で、SimTSCに対してLB-SimTSCはどのような性能を示すか。
• RQ4 ラベル付きデータが限られた場合でも、バッチ単位のグラフ構築がラベル情報を効果的にラベルなしインスタンスへ伝えるのに十分か。

主な発見

Dataset	1NN-DTW (5)	LB-SimTSC (5)	1NN-DTW (10)	LB-SimTSC (10)	1NN-DTW (15)	LB-SimTSC (15)
FordA	0.540	0.793	0.531	0.826	0.545	0.816
FordB	0.627	0.812	0.603	0.806	0.628	0.807
NIFECGT1	0.665	0.662	0.704	0.743	0.710	0.830
NIFECGT2	0.757	0.689	0.788	0.798	0.817	0.856
UWGLAll	0.779	0.447	0.854	0.549	0.865	0.622
Phoneme	0.185	0.253	0.204	0.330	0.209	0.346
Mallat	0.944	0.908	0.960	0.963	0.971	0.960
MSST	0.784	0.871	0.796	0.883	0.834	0.908
MSRT	0.790	0.775	0.819	0.891	0.843	0.916
SLC	0.559	0.920	0.683	0.939	0.763	0.946

• LB-SimTSCは、複数の大規模UCRデータセットでSimTSCより最大71倍速いグラフ構築を達成し、全体のグラフ構築時間を大幅に削減する。
• LB-SimTSCは複数のラベル条件でSimTSCと競合する精度を維持し、2系統の検定でp値が0.05未満で有意差がない。
• 5ラベル以上の設定では、LB-SimTSCは1NN-DTWを上回ることが多く、少数ラベル条件下で強い性能を示す。
• LB_Keoghベースのグラフは、効果的なワープ対応の類似性を捉えつつGPUに適した計算を実現し、より大規模なデータセットへのスケーラビリティを可能にする。