[論文レビュー] Rethinking 1D-CNN for Time Series Classification: A Stronger Baseline.

Wensi Tang, Guodong Long+4 more|arXiv (Cornell University)|Feb 24, 2020

Time Series Analysis and Forecasting参考文献 26被引用数 95

ひとこと要約

本論文では、グリッドサーチに頼らずに時系列分類のための最適なカーネルサイズを動的に学習する、新規なアーキテクチャであるオムニスケール1D-CNN（OS-CNN）を提案する。多様な受容 field をカバーするように戦略的に少数のカーネルサイズを設定することで、85個のUCRデータセットにおいて、既存の1D-CNNベースラインを上回る性能を達成し、精度、勝数、統計的有意性の面で優れている。

ABSTRACT

For time series classification task using 1D-CNN, the selection of kernel size is critically important to ensure the model can capture the right scale salient signal from a long time-series. Most of the existing work on 1D-CNN treats the kernel size as a hyper-parameter and tries to find the proper kernel size through a grid search which is time-consuming and is inefficient. This paper theoretically analyses how kernel size impacts the performance of 1D-CNN. Considering the importance of kernel size, we propose a novel Omni-Scale 1D-CNN (OS-CNN) architecture to capture the proper kernel size during the model learning period. A specific design for kernel size configuration is developed which enables us to assemble very few kernel-size options to represent more receptive fields. The proposed OS-CNN method is evaluated using the UCR archive with 85 datasets. The experiment results demonstrate that our method is a stronger baseline in multiple performance indicators, including the critical difference diagram, counts of wins, and average accuracy. We also published the experimental source codes at GitHub (this https URL).

研究の動機と目的

• 時系列分類のための1D-CNNにおけるカーネルサイズ選定の非効率性と最適でない性能を是正すること。
• カーネルサイズが1D-CNNの性能に与える影響を理論的に分析すること。
• トレーニング中に最適な受容フィールドスケールを学習できる、新規なアーキテクチャを開発し、手動によるハイパーパramータチューニングへの依存を減らすこと。
• 知的なカーネルサイズ設定によりモデル容量を向上させることで、時系列分類における1D-CNNのより強固なベースラインを確立すること。

提案手法

• 複数のカーネルサイズを1つの統合された畳み込みブロックに統合する、新規なオムニスケール1D-CNN（OS-CNN）アーキテクチャを提案する。
• 幅広い受容フィールドをカバーするように、最小限の数の慎重に選ばれたカーネルサイズを用いた、特定のカーネルサイズ設定戦略を設計する。
• マルチスケールのカーネルを1つの畳み込み層に統合し、トレーニング中に最も関連の深いスケールをエンドツーエンドで学習可能にする。
• 異なるカーネルサイズ間で共有された特徴マップを用いることで、計算効率を維持しながら表現能力を向上させる。
• 標準的な最適化手法を用いてエンドツーエンドでモデルをトレーニングし、ネットワークが各時系列パターンに対して最も効果的なカーネルサイズを自動で学習できるようにする。
• 標準的な指標（精度、クリティカルディファレンス図、勝数）を用いて、UCR時系列アーカイブ（85データセット）全体でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 カーネルサイズの選定は、時系列分類タスクにおける1D-CNNの性能にどのように影響するか？
• RQ2 1D-CNNモデルは、グリッドサーチに依存せずに、トレーニング中に最適なカーネルサイズを動的に学習できるか？
• RQ3 時系列データにおける多様な受容フィールドを効果的にカバーするために必要な最小限のカーネルサイズの組み合わせは何か？
• RQ4 提案されたOS-CNNアーキテクチャは、多様な時系列データセットにおいて、標準的な1D-CNNベースラインと比較して、精度と頑健性の面で優れているか？
• RQ5 提案手法は、既存の1D-CNNアプローチに比べて、時系列分類におけるより強力なベースラインを提供できるか？

主な発見

• OS-CNNは、85個のUCRデータセットにおいて、既存の1D-CNNベースラインを上回る平均精度を達成した。
• UCRベンチマークにおける対比較において、提案手法はベースラインモデルよりも多くの勝数を記録した。
• クリティカルディファレンス図において、OS-CNNは標準的な1D-CNNよりも優れた性能を示し、統計的に有意な優位性を示した。
• モデルの性能は多様な時系列データに対して頑健であり、設計されたカーネルサイズ設定の有効性を確認した。
• 最適なカーネルサイズをエンドツーエンドで学習することで、時間のかかるグリッドサーチの必要性を低減し、トレーニング効率を向上させた。
• ソースコードはGitHubで公開されており、再現性とさらなるベンチマークが可能である。