[論文レビュー] Deep learning for time series classification

Hassan Ismail Fawaz|arXiv (Cornell University)|Oct 1, 2020

Time Series Analysis and Forecasting参考文献 185被引用数 9

ひとこと要約

本学位論文は、時系列分類のためのディープラーニングモデルに関する包括的な実験的調査を提示しており、100以上のベンチマークデータセットで既存手法を上回る性能を示す、新しいインセプションベースのアーキテクチャを導入している。本研究は、転移学習、データ拡張、アンサンブル、敵対的ロバストネスの分野で貢献をもたらし、多次元の運動学的データを用いた手術技術の評価への応用において、最先端の性能と実用性を示している。

ABSTRACT

Time series analysis is a field of data science which is interested in analyzing sequences of numerical values ordered in time. Time series are particularly interesting because they allow us to visualize and understand the evolution of a process over time. Their analysis can reveal trends, relationships and similarities across the data. There exists numerous fields containing data in the form of time series: health care (electrocardiogram, blood sugar, etc.), activity recognition, remote sensing, finance (stock market price), industry (sensors), etc. Time series classification consists of constructing algorithms dedicated to automatically label time series data. The sequential aspect of time series data requires the development of algorithms that are able to harness this temporal property, thus making the existing off-the-shelf machine learning models for traditional tabular data suboptimal for solving the underlying task. In this context, deep learning has emerged in recent years as one of the most effective methods for tackling the supervised classification task, particularly in the field of computer vision. The main objective of this thesis was to study and develop deep neural networks specifically constructed for the classification of time series data. We thus carried out the first large scale experimental study allowing us to compare the existing deep methods and to position them compared other non-deep learning based state-of-the-art methods. Subsequently, we made numerous contributions in this area, notably in the context of transfer learning, data augmentation, ensembling and adversarial attacks. Finally, we have also proposed a novel architecture, based on the famous Inception network (Google), which ranks among the most efficient to date.

研究の動機と目的

• 大規模な実験的調査を通じて、既存の時系列分類のためのディープラーニング手法を評価および比較すること。
• 時系列データに特に適した新しい深層ニューラルネットワークアーキテクチャの開発および検証すること。
• 転移学習、データ拡張、アンサンブル手法を通じて分類性能の向上を図ること。
• 時系列分類モデルにおける敵対的ロバストネスを調査すること。
• ディープラーニングを手術データサイエンスに応用し、多次元時系列データから手術技術の解釈可能な評価を可能にすること。

提案手法

• 時系列における時間的特徴抽出に最適化された、インセプションアーキテクチャをインspiredとした新しい深層ニューラルネットワークアーキテクチャを提案した。
• トレーニングの安定性と特徴表現を向上させるために、グローバル平均プーリングと残差接続を採用した。
• 一般化性能の向上を目的として、ウィンドウスライcingやタイムワープなどのデータ拡張技術を適用した。
• 大規模な時系列データセットで事前学習を行い、その後特定のタスクにファインチューニングすることで、転移学習を活用した。
• COTE や HIVE-COTE といったアンサンブル手法を実装し、複数のモデルの予測を統合することで精度を向上させた。
• 解釈可能性を高めるために、クラスアクティベーションマップ（CAM）を用いた解釈可能なモデルを開発した。

実験結果

リサーチクエスチョン

• RQ1 最先端の時系列分類のためのディープラーニングモデルは、多様なベンチマークデータセットにおいてどのように比較されるか？
• RQ2 新規のインセプションベースのアーキテクチャは、既存のディープラーニングモデルに比べ、時系列分類で優れた性能を達成できるか？
• RQ3 転移学習とデータ拡張は、時系列分類器のロバストネスと精度をどの程度向上できるか？
• RQ4 アンサンブル手法と敵対的訓練は、モデルの一般化性能とロバストネスを向上させるのにどの程度効果的か？
• RQ5 高リスク分野の応用、たとえば手術技術の評価において、ディープラーニングモデルは解釈可能な予測を提供できるか？

主な発見

• 提案されたインセプションベースのアーキテクチャは、100以上の時系列分類ベンチマークで最先端の性能を達成した。
• ウィンドウスライcing や タイムワープ などのデータ拡張技術は、モデルの一般化性能と精度を顕著に向上させた。
• HIVE-COTE や COTE といったアンサンブル手法は個々のモデルを上回る性能を示し、モデル多様性の利点を実証した。
• 転移学習は、データが少ない状況でも性能を向上させ、特に大規模な時系列データセットで事前学習された場合に顕著であった。
• 敵対的訓練によりモデルのロバストネスが向上し、敵対的攻撃下での性能低下が軽減された。
• クラスアクティベーションマップ（CAM）を用いた解釈可能なディープラーニングモデルは、多次元運動学的データにおける手術技術水準に関連する重要な時間的特徴を効果的に同定できた。