[論文レビュー] A tale of two toolkits, report the first: benchmarking time series classification algorithms for correctness and efficiency

Anthony Bagnall, Franz J. Király+3 more|arXiv (Cornell University)|Sep 12, 2019

Time Series Analysis and Forecasting参考文献 26被引用数 7

ひとこと要約

この論文は、オープンソースのPythonツールキットsktimeにおける6つの時系列分類（TSC）アルゴリズムと、tsmlのJava実装を比較し、高い正確性の同等性を示し、顕著な効率性の差を特定した。主な貢献は、sktimeの実装の正当性を検証するとともに、両ツールキットにおける最適化の機会を浮き彫りにした包括的な正しさとパフォーマンス評価である。

ABSTRACT

sktime is an open source, Python based, sklearn compatible toolkit for time series analysis developed by researchers at the University of East Anglia (UEA), University College London and the Alan Turing Institute. A key initial goal for sktime was to provide time series classification functionality equivalent to that available in a related java package, tsml, also developed at UEA. We describe the implementation of six such classifiers in sktime and compare them to their tsml equivalents. We demonstrate correctness through equivalence of accuracy on a range of standard test problems and compare the build time of the different implementations. We find that there is significant difference in accuracy on only one of the six algorithms we look at (Proximity Forest). This difference is causing us some pain in debugging. We found a much wider range of difference in efficiency. Again, this was not unexpected, but it does highlight ways both toolkits could be improved.

研究の動機と目的

• 既存のtsml Javaツールキットにおける時系列分類（TSC）アルゴリズムの正確性を、sktimeのPythonツールキットにおける同等実装と比較することで、正しさを検証すること。
• sktimeとtsmlの両実装における計算効率（構築時間と予測時間）を評価・比較すること。
• 両実装間の正確性およびパフォーマンスの差異を特定し、sktimeおよびtsmlの改善に役立てる情報の提供。
• 共通のオープンソースフレームワークを提供することで、TSC研究における再現可能性と透明性を支援すること。
• 将来のsktime開発を支援するため、最適化および拡張の重点分野（特に多次元および長さが異なる時系列のサポート）を特定すること。

提案手法

• scikit-learn互換APIを用いて、sktimeに6つのTSCアルゴリズム（Time Series Forest（TSF）、RISE、BOSS、Shapelet Transform Classifier、ElasticEnsemble（EE）、Proximity Forest（PF））を実装。
• 標準的な時系列ベンチマークデータセットを用いたsktimeとtsmlのモデル正確性の比較により、正しさの検証。
• トレーニングおよび予測実行時間の測定と分析により、両ツールキットにおける計算効率の評価。
• sktimeのcontribモジュールを活用して標準化されたデータ読み込みおよび評価パイプラインを用い、結果の再現性を確保。
• sktimeのモジュラーなアーキテクチャ（変換器、距離測定法、アンサンブルパイプラインなど）を活用し、分類器の実装と組み合わせを実現。
• 直接実装（例：tsf.py）とパイプラインベースの複合実装（例：PipelineおよびFeatureUnionを介して）の両方を評価し、パフォーマンスのトレードオフを分析。

実験結果

リサーチクエスチョン

• RQ1 sktimeにおけるTSCアルゴリズム実装は、tsmlの対応実装と分類正確性の観点で機能的に同等であるか？
• RQ2 sktimeとtsmlの実装間におけるトレーニングおよび予測の効率性の差は何か？
• RQ3 なぜsktimeにおけるTime Series Forestの複合パイプラインベース実装は、直接実装よりも顕著に遅いのか？
• RQ4 RISEおよびBOSSのsktime実装は、アルゴリズム的または実装的最適化によって効率を向上させられるか？
• RQ5 ElasticEnsembleおよびProximity Forestのようなアンサンブル手法は、両ツールキットにおいて正確性と速度の観点でどのように比較されるか？

主な発見

• すべての6つのTSCアルゴリズムについて、sktimeの正確性は標準ベンチマークデータセットでtsmlの対応実装と同等であるが、Proximity Forestを除く。
• Proximity Forestは、sktimeとtsmlの間で顕著な正確性の差を示しており、バグまたは実装の不整合の可能性を示唆しており、さらなるデバッグが求められる。
• すべてのアルゴリズムで顕著な効率性の差が観察され、sktimeの実装は一般的にtsmlより遅く、特に複合パイプライン構成で顕著であった。
• sktimeにおけるTime Series Forestの複合パイプラインベース実装は、直接実装よりも顕著に遅く、パイプラインの組み合わせや特徴量変換パイプラインに非効率な点が原因である可能性がある。
• パフォーマンスの差は、RISE（周波数ベース）およびBOSS（辞書ベース）実装において、両ツールキットにおける最適化の機会を浮き彫りにしている。
• 本研究は、sktimeがTSC研究に適した正確で相互運用可能な基盤を提供していることを確認した。パフォーマンスの向上および将来のアルゴリズム統合のための明確な道筋が示されている。