[論文レビュー] Dynamic Sparse Network for Time Series Classification: Learning What to "see''

Qiao Xiao, Boqian Wu+5 more|arXiv (Cornell University)|Dec 19, 2022

Time Series Analysis and Forecasting被引用数 13

ひとこと要約

本稿では、時間系列分類のための動的スパースネットワーク（DSN）を提案する。DSNは、動的スパース訓練を通じて適応的受容 field を学習し、手動でのハイパーパrameterチューニングを必要とせずに、複数の信号スケールにわたる効率的な特徴抽出を可能にする。DSNは、従来手法の50％未満の計算コストで、単変量および多変量TSCベンチマークで最先端の精度を達成する。

ABSTRACT

The receptive field (RF), which determines the region of time series to be ``seen'' and used, is critical to improve the performance for time series classification (TSC). However, the variation of signal scales across and within time series data, makes it challenging to decide on proper RF sizes for TSC. In this paper, we propose a dynamic sparse network (DSN) with sparse connections for TSC, which can learn to cover various RF without cumbersome hyper-parameters tuning. The kernels in each sparse layer are sparse and can be explored under the constraint regions by dynamic sparse training, which makes it possible to reduce the resource cost. The experimental results show that the proposed DSN model can achieve state-of-art performance on both univariate and multivariate TSC datasets with less than 50\% computational cost compared with recent baseline methods, opening the path towards more accurate resource-aware methods for time series analyses. Our code is publicly available at: https://github.com/QiaoXiao7282/DSN.

研究の動機と目的

• データセット間およびデータセット内での信号スケールの変動に起因する、時間系列分類（TSC）における最適な受容 field（RF）サイズの選定という課題に対処すること。
• 計算コストとハイパーパrameterチューニングの負担を軽減しつつ、精度を維持または向上させること。
• CNN層がスパースカーネルグループを通じて多様で効果的なRFパターンを学習できる、細分化された動的スパース訓練戦略を開発すること。
• モデルの精度とリソース効率のギャップを埋めることで、自動的かつ適応的な特徴学習を可能にすること。

提案手法

• カーネルをスパースサブカーネルにグループ化し、各グループが局所領域に制限される動的スパースCNNレイヤーを提案する。
• トレーニング中に各カーネルグループ内の接続を動的にプルーニングおよび更新する動的スパーストレーニング（DST）戦略を導入する。
• グループ単位のスパースカーネル設計を用いることで、固定されたカーネルサイズ設定を必要とせず、複数スケールの特徴を抽出可能にする。
• 段階的かつレイヤーワイズのスパースネス機構を採用し、モデルの表現力は維持しつつ、FLOPsとパラメータ数を削減する。
• バックプロパゲーションを用いてエンドツーエンドにトレーニング可能なスタックドアーキテクチャとして、全DNNモデルを構築する。
• 探索を意味のある局所領域に制限する制約ベースのスパースネス戦略を実装し、トレーニングの安定性と効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動でのカーネルサイズチューニングを必要とせずに、動的スパースネットワークが時間系列分類の最適な受容 field を学習できるか？
• RQ2 受容 field のカバー範囲とモデル性能の観点から、動的スパーストレーニングは標準的なスパーストレーニングよりも優れているか？
• RQ3 DSNは、分類精度を維持または向上させつつ、計算コスト（FLOPsおよびパラメータ）をどの程度削減できるか？
• RQ4 DSNは、信号特性が異なる多様な単変量および多変量時間系列データセットに一般化可能か？

主な発見

• DSNは、UEAおよびUCR時間系列分類アーカイブで最先端の精度を達成し、OS-CNN、MLSTM-FCN、TapNetなどの最近の手法を上回った。
• 平均して、DSNは30のデータセット全体でベースラインモデルと比較してFLOPsを50％以上削減しながら、テスト精度を維持または向上させた。
• UEAの30データセットベンチマークでは、ヨガデータセットで平均93.63％の精度（±0.00％～±0.48％の変動）を達成し、Traceデータセットでは100％の精度を記録した。
• Epilepsyデータセットでは99.86％の精度、SpokenArabicDigitsでは99.10％の精度を達成し、すべてのベースラインを上回った。
• 低信号・ノイズの多いデータに困難を示すAtrialFibrillationデータセットでは、DSNが6.67％の精度（OS-CNNの23.33％と比較）を達成し、ノイズに強い性能を示した。
• パラメータ数は低く維持された（例：143K～155Kパラメータ）、かつほとんどのデータセットでFLOPsが100M未満に保たれ、強力なリソース効率性を示した。