[論文レビュー] Cost-Sensitive Convolution based Neural Networks for Imbalanced Time-Series Classification

Yue Geng, Xinyu Luo|arXiv (Cornell University)|Jan 13, 2018

Time Series Analysis and Forecasting参考文献 33被引用数 23

ひとこと要約

本論文は、時系列分類におけるクラス不均衡問題に対処するため、コストセンシティブな畳み込みニューラルネットワークフレームワークを提案する。少数クラスに対して適応的に高い誤分類ペナルティを割り当てることで、不均衡な時系列データセットにおけるモデル性能が向上し、コストセンシティブな残差ネットワークおよびCNNネットワークが、実世界のデータセットにおいてすべての指標で他のモデルを上回った。

ABSTRACT

Some deep convolutional neural networks were proposed for time-series classification and class imbalanced problems. However, those models performed degraded and even failed to recognize the minority class of an imbalanced temporal sequences dataset. Minority samples would bring troubles for temporal deep learning classifiers due to the equal treatments of majority and minority class. Until recently, there were few works applying deep learning on imbalanced time-series classification (ITSC) tasks. Here, this paper aimed at tackling ITSC problems with deep learning. An adaptive cost-sensitive learning strategy was proposed to modify temporal deep learning models. Through the proposed strategy, classifiers could automatically assign misclassification penalties to each class. In the experimental section, the proposed method was utilized to modify five neural networks. They were evaluated on a large volume, real-life and imbalanced time-series dataset with six metrics. Each single network was also tested alone and combined with several mainstream data samplers. Experimental results illustrated that the proposed cost-sensitive modified networks worked well on ITSC tasks. Compared to other methods, the cost-sensitive convolution neural network and residual network won out in the terms of all metrics. Consequently, the proposed cost-sensitive learning strategy can be used to modify deep learning classifiers from cost-insensitive to cost-sensitive. Those cost-sensitive convolutional networks can be effectively applied to address ITSC issues.

研究の動機と目的

• 時系列分類におけるクラス不均衡のため、少数クラスでの性能が著しく低下する問題に対処すること。
• クラス分布に応じて誤分類ペナルティを適応的に調整するコストセンシティブな学習戦略を開発すること。
• 既存のディープラーニングアーキテクチャ（例：CNN、ResNet）を変更し、不均衡な時系列データにおける汎化性能を向上させるコストセンシティブな形にすること。
• 複数の指標を用いて、大規模で実世界の不均衡な時系列データセット上で、提案手法の有効性を評価すること。

提案手法

• トレーニング中に少数クラスに高い誤分類ペナルティを動的に割り当てる、適応的コストセンシティブな学習戦略を導入する。
• バックプロパゲーションプロセスにクラス固有の損失重みを統合することで、標準的なディープラーニングモデルを変更する。
• 標準CNNおよび残差ネットワークを含む、5種類の異なるニューラルネットワークアーキテクチャにこのアプローチを適用する。
• クラス頻度に基づいてクラス重みを計算し、代表度が低いクラスに高いペナルティを割り当てることで、勾配更新におけるバイアスを是正する。
• コストセンシティブな重みを組み込んだ修正された交差エントロピー損失関数を用いて、エンドツーエンドでフレームワークをトレーニングする。
• 本手法は、スタンドアロンモデルとしての評価に加え、主流のデータサンプリング技術（例：SMOTE、ADASYN）と組み合わせた場合の評価も行う。

実験結果

リサーチクエスチョン

• RQ1 コストセンシティブな学習戦略は、不均衡な時系列データセットにおけるディープニューラルネットワークの分類性能を向上させることができるか？
• RQ2 本手法は、時系列分類におけるクラス不均衡の処理において、従来のデータサンプリング技術と比較してどのように差をつけるか？
• RQ3 F1スコアおよびAUC指標の観点から、どのディープラーニングアーキテクチャがコストセンシティブな適応に対して最も利益を得るか？
• RQ4 本手法は、実世界の大規模な時系列データに対して、ロバスト性を維持するか？
• RQ5 本手法は、ベースラインモデルおよびデータサンプリングとディープラーニングを組み合わせたハイブリッド手法を上回る性能を発揮できるか？

主な発見

• コストセンシティブな畳み込みニューラルネットワークおよび残差ネットワークが、不均衡な時系列データセットにおいて6つの評価指標すべてで最高の性能を達成した。
• 本手法は、コストセンシティブ学習を実施しないでトレーニングされた標準的なディープラーニングモデルを上回り、特に少数クラスのサンプルを正しく特定する能力が向上した。
• コストセンシティブアプローチは、少数クラスのF1スコアおよびAUCを一貫して向上させ、レアイベントに対するより良い汎化性能を示した。
• データサンプリング技術と組み合わせた場合、コストセンシティブモデルはさらなる性能向上を示し、相乗効果があることが示唆された。
• 適応的コストセンシティブ戦略は、多数クラスへのバイアスを効果的に是正し、代表度が低い時系列パターンからの学習を可能にした。