[論文レビュー] Multi-Scale Convolutional Neural Networks for Time Series Classification

Zhicheng Cui, Wenlin Chen+1 more|arXiv (Cornell University)|Mar 22, 2016

Time Series Analysis and Forecasting参考文献 15被引用数 475

ひとこと要約

MCNNはマルチブランチ構造を通じてマルチスケールおよびマルチ周波数特徴を学習する時系列分類のエンドツーエンドニューラルネットワークであり、ベンチマークデータセットで最先端の性能を達成します。

ABSTRACT

Time series classification (TSC), the problem of predicting class labels of time series, has been around for decades within the community of data mining and machine learning, and found many important applications such as biomedical engineering and clinical prediction. However, it still remains challenging and falls short of classification accuracy and efficiency. Traditional approaches typically involve extracting discriminative features from the original time series using dynamic time warping (DTW) or shapelet transformation, based on which an off-the-shelf classifier can be applied. These methods are ad-hoc and separate the feature extraction part with the classification part, which limits their accuracy performance. Plus, most existing methods fail to take into account the fact that time series often have features at different time scales. To address these problems, we propose a novel end-to-end neural network model, Multi-Scale Convolutional Neural Networks (MCNN), which incorporates feature extraction and classification in a single framework. Leveraging a novel multi-branch layer and learnable convolutional layers, MCNN automatically extracts features at different scales and frequencies, leading to superior feature representation. MCNN is also computationally efficient, as it naturally leverages GPU computing. We conduct comprehensive empirical evaluation with various existing methods on a large number of benchmark datasets, and show that MCNN advances the state-of-the-art by achieving superior accuracy performance than other leading methods.

研究の動機と目的

• 伝統的な特徴抽出+分類パイプラインを超えてTSCの精度と効率の向上を動機づける。
• 特徴表現と分類を共同で学習するエンドツーエンドMCNNアーキテクチャを提案する。
• 時間領域と周波数領域の変換を統合してマルチスケール情報を捉える。
• 小規模TSCデータセットで一般化を改善するためのデータ拡張を活用する。

提案手法

• Transformation、local convolution、full convolutionの三段階を持つMCNNを導入する。
• Transformation段階はダウンサンプリングと移動平均によるマルチ周波数スペクトルを用いてマルチスケールブランチを作成する。
• Local convolution段階は各ブランチに独立した1-D畳み込みを適用し、複数サイズの最大プーリングを行う。
• Full convolution段階はブランチ出力を連結し、追加の畳み込みとsoftmax分類器を適用する。
• クロスエントロピー損失とバックプロパゲーションでモデルをエンドツーエンドに訓練する。
• 小さなデータセットの訓練データを増やすための窓スライシングによるデータ拡張。

実験結果

リサーチクエスチョン

• RQ1 MCNNは handcrafted featuresなしにTSCの識別的特徴を自動的に学習できるか？
• RQ2 マルチスケールおよびマルチ周波数ブランチは単一スケールCNNと比較して分類精度を向上させるか？
• RQ3 MCNNは標準ベンチマーク（UCRデータセット）で最先端のTSC手法と比較してどうか？

主な発見

• MCNNは多数のデータセットで優れた精度を達成し、多くの先行手法を上回る。
• 41のうち44のUCRデータセットで、MCNNは同じパラメータ数の標準CNNを上回る。
• MCNNの平均ランクは3.95で、トップのアンサンブル手法COTEと競合し、ほとんどのベースラインより優れている。
• MCNNは binomial検定および Wilcoxon符号付き順位検定で1%水準でBOSSとCOTEを除いて大幅に他の多くの手法を上回っている。
• 窓スライシングによるデータ拡張は小規模データセットでMCNNの一般化を助ける。拡張なしでも大規模データセットでは強いまま。