[論文レビュー] Benchmarking time series classification -- Functional data vs machine learning approaches

Florian Pfisterer, Laura Beggel+3 more|arXiv (Cornell University)|Nov 18, 2019

Time Series Analysis and Forecasting参考文献 35被引用数 8

ひとこと要約

この論文は、時系列分類のための関数データ解析（FDA）および機械学習（ML）手法をベンチマークし、mlrツールボックスを用いて多様なFDA技術と特徴抽出パイプラインを統合した包括的なRフレームワークを提供する。チューニングされた特徴抽出と従来のMLモデル（例：xgboost、ランダムフォレスト）の組み合わせが、専用のFDA手法を上回ることが多く、ハイパーパrameterチューニングにより誤差が最大20.3%まで低減されることを示しており、非専門家にとって実用的でアクセスしやすく、高い性能を発揮するパイプラインを提供する。

ABSTRACT

Time series classification problems have drawn increasing attention in the machine learning and statistical community. Closely related is the field of functional data analysis (FDA): it refers to the range of problems that deal with the analysis of data that is continuously indexed over some domain. While often employing different methods, both fields strive to answer similar questions, a common example being classification or regression problems with functional covariates. We study methods from functional data analysis, such as functional generalized additive models, as well as functionality to concatenate (functional-) feature extraction or basis representations with traditional machine learning algorithms like support vector machines or classification trees. In order to assess the methods and implementations, we run a benchmark on a wide variety of representative (time series) data sets, with in-depth analysis of empirical results, and strive to provide a reference ranking for which method(s) to use for non-expert practitioners. Additionally, we provide a software framework in R for functional data analysis for supervised learning, including machine learning and more linear approaches from statistics. This allows convenient access, and in connection with the machine-learning toolbox mlr, those methods can now also be tuned and benchmarked.

研究の動機と目的

• 時系列分類のための関数データ解析（FDA）および機械学習（ML）手法の包括的かつアクセスしやすいベンチマークを提供すること。
• mlrフレームワークを用いて、多様なFDAおよびMLツールを統一的で一貫性のあるAPIの下に統合し、比較やチューニングを容易にすること。
• 幅広い時系列データセットにおいて、専用のFDA手法と特徴抽出＋MLパイプラインの両方の性能を評価すること。
• 実証的ベンチマークとハイパーパrameterチューニングを通じて、非専門家の実務者が最適なモデルを選択するのを支援すること。
• 文献におけるギャップを埋めるために、関数データにおけるハイパーパrameterチューニングの影響と特徴抽出技術の系統的評価を実施すること。

提案手法

• fda, FDboost, fda.usc などの関数データ解析用Rパッケージを、mlrフレームワークを通じて統合されたインターフェースに統合する。
• 関数データ前処理、特徴抽出（例：Bスプライン、ウェーブレット、フーリエ変換）、および従来のMLモデル（例：ランダムフォレスト、xgboost、SVM）を組み合わせたエンドツーエンドのワークフローを可能にする。
• すべてのメソッド－特徴抽出組み合わせに対して、効率的なハイパーパrameterチューニングを実現するためのベイズ最適化を採用する。
• 23の多様な時系列データセットにわたる標準化されたリサンプリング、性能指標（MMCE）、並列化されたベンチマークを実施する。
• 関数モデリング（例：関数一般化加法モデル）と非関数的特徴ベースモデリングの両方を、変換パイプラインを通じてサポートする。
• オープンソースのRコードを提供し、mlrとの統合により、自動チューニング、ベンチマーク、モデル選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関数データから抽出されたベクトル値特徴に適用された古典的機械学習モデルは、専用の関数データ解析手法と比較して競争力のある性能を達成できるか？
• RQ2 ハイパーパrameterチューニングと特徴抽出技術は、時系列分類モデルの性能にどのように影響するか？
• RQ3 解釈性の高い関数データ解析手法（例：FDboost）は、標準的な時系列分類ベンチマークで競争力を持って機能するか？
• RQ4 どの特徴抽出手法と機械学習モデルの組み合わせが、多様な時系列データに対して最も強固で正確な結果をもたらすか？
• RQ5 非専門家が、FDAおよびML手法を簡単に比較・チューニング・デプロイできる実用的で統合されたフレームワークは存在するか？

主な発見

• チューニングによりモデル性能が顕著に向上し、xgboostを用いたフーリエベースの特徴抽出では、絶対値のMMCEが最大20.3%まで低減された。
• すべての特徴抽出手法において、FDboostでは平均で11%、ksvmでは7.78%、xgboostでは5.69%、rangerでは3.59%のMMCE低減が観察された。
• 前処理なしの単純なランダムフォレストは、すべてのデータセットで平均順位15.59（上位4位内）を達成し、強力なベースラインとして機能した。
• Bスプライン（bsignal）やウェーブレット分解などの特徴抽出手法を、xgboostやランダムフォレストと組み合わせることで、非常に競争力のあるモデルが得られた。
• データセット全体にわたるパレート最適なモデルのセットには、23の異なるアルゴリズム－特徴抽出の組み合わせが含まれており、最適な構成の多様性が示された。
• 解釈性の高さにもかかわらず、専用のFDA手法（例：FDboost）はベンチマークで優れた性能を発揮しなかったことから、標準的な時系列タスクへの一般化能力に限界があることが示唆された。