[論文レビュー] Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification

Wensi Tang, Guodong Long+4 more|arXiv (Cornell University)|Feb 24, 2020

Time Series Analysis and Forecasting被引用数 54

ひとこと要約

Omni-Scale (OS) ブロックを 1D-CNN に導入し、素数サイズのカーネル設計であらゆる受容野スケールをカバーし、RFサイズ探索なしで時系列分類の最先端の性能を達成。4つのベンチマークでコンパクトなモデルによる強いスケール捕捉能力を実証。

ABSTRACT

The Receptive Field (RF) size has been one of the most important factors for One Dimensional Convolutional Neural Networks (1D-CNNs) on time series classification tasks. Large efforts have been taken to choose the appropriate size because it has a huge influence on the performance and differs significantly for each dataset. In this paper, we propose an Omni-Scale block (OS-block) for 1D-CNNs, where the kernel sizes are decided by a simple and universal rule. Particularly, it is a set of kernel sizes that can efficiently cover the best RF size across different datasets via consisting of multiple prime numbers according to the length of the time series. The experiment result shows that models with the OS-block can achieve a similar performance as models with the searched optimal RF size and due to the strong optimal RF size capture ability, simple 1D-CNN models with OS-block achieves the state-of-the-art performance on four time series benchmarks, including both univariate and multivariate data from multiple domains. Comprehensive analysis and discussions shed light on why the OS-block can capture optimal RF sizes across different datasets. Code available [https://github.com/Wensi-Tang/OS-CNN]

研究の動機と目的

• 1D-CNN における受容野 (RF) サイズの選択が時系列分類 (TSC) においていかに難しいか動機づける。
• 単純で普遍的な素数サイズカーネル規則を用いて、すべてのスケールの RF サイズを自動的にカバーする Omni-Scale ブロック（OS-block）を提案する。
• OS-block に基づくモデルが、データセットを横断した統一学習設定で競争力のある、または最先端の性能を達成できることを示す。
• OS-block が多様なデータセットで最適な RF スケールを効果的に捉える理由を分析する。

提案手法

• 最初の2層で素数サイズのカーネルを用い、最後の層でカーネルサイズを 1 および 2 とする3層のマルチカーネル構造としてOS-blockを定義する。
• ゴールドバッハの予想を活用して、すべての偶数 RF を二つの素数の和でカバーすることを正当化し、対象範囲のすべてのRFをカバーするよう拡張する。
• OS-block のパスで達成可能な RF サイズを計算し、パリティベースのカーネル選択と比較してモデルサイズの効率的な利点（O(r^2 / log r)）を示す。
• OS-block を Time Series Classification（TSC）として OS-CNN に適用し、グローバル平均プーリング層と最終全結合層で分類を行う。
• OS-block は並列化可能で、拡張（膨張、アテンション、トランスフォーマー、ボトルネック）など他のアーキテクチャと統合できることを示す。
• 4つの TSC ベンチマークに対する実証評価を行い、最先端のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 明示的な RF サイズ探索なしに、OS-block 構造の1D-CNN は多様な時系列データセットに対してほぼ最適な RF カバレッジを達成できるか。
• RQ2 普遍的な素数サイズカーネル構成は、複数ドメインの univariate および multivariate 時系列データセットに対して堅牢でスケーラブルな性能を提供するか。
• RQ3 標準的な TSC ベンチマークにおける OS-block の性能とモデルサイズは、RF探索ベースまたは適応 RF 手法と比べてどうか。

主な発見

データセット	手法	Accuracy(%)	F1スコア	パラメータ数
MEG-TLE	OS-CNN (Ours)	91.3	91.6	235k

• OS-block は、最初の2層に素数サイズを用い、最後の層に 1 と 2 を用いる統一設計で、すべての RF スケールをカバーできる。
• OS-CNN は4つの時系列ベンチマークで最先端の性能を達成し、はるかに小さなモデルサイズを使用している（例として報告された MEG-TLE の場合は 235k パラメータ）。
• 経験的分析により、OS-CNN の性能は、探索によって得られた最良の RF サイズを持つモデルに近いか、それに一致することが示され、スケール捕捉能力が高いことを示す。
• OS-block は明示的な RF 探索なしで最高のタイムスケールを捉え、性能は RF サイズよりむしろ特定のカーネル構成よりも支配されることを示す。
• クラスアクティベーションマップは、代表データセットで最良の RF サイズに合わせて調整されたモデルに類似した焦点を持つことを示す。