[論文レビュー] A tale of two toolkits, report the third: on the usage and performance of HIVE-COTE v1.0

Anthony Bagnall, Michael Flynn+3 more|arXiv (Cornell University)|Apr 13, 2020

Time Series Analysis and Forecasting参考文献 21被引用数 14

ひとこと要約

本論文では、元の HIVE-COTE を改善し、遅い Elastic Ensemble を削除し、STC における shapelet 数え上げを軽減することで、スケーラブルで設定可能な時系列分類の異種アンサンブル HIVE-COTE v1.0 を提示する。InceptionTime や TS-CHIEF と同等の最先端の精度を達成しながら、効率性、実行時間制御、チェックポイント、チューニングの可能性が向上し、109 個の UCR データセットにおいても高いパフォーマンスを維持する。

ABSTRACT

The Hierarchical Vote Collective of Transformation-based Ensembles (HIVE-COTE) is a heterogeneous meta ensemble for time series classification. Since it was first proposed in 2016, the algorithm has undergone some minor changes and there is now a configurable, scalable and easy to use version available in two open source repositories. We present an overview of the latest stable HIVE-COTE, version 1.0, and describe how it differs to the original. We provide a walkthrough guide of how to use the classifier, and conduct extensive experimental evaluation of its predictive performance and resource usage. We compare the performance of HIVE-COTE to three recently proposed algorithms using the aeon toolkit.

研究の動機と目的

• 時系列分類のためのより実用的でスケーラブルかつユーザーフレンドリーな HIVE-COTE のバージョンを開発すること。
• 特に Elastic Ensemble や STC における完全な shapelet 数え上げが原因となる最も遅いコンponent を削除することで、計算効率を向上させること。
• 実行時間制御、チェックポイント、ハイパーパramータチューニングを可能にすることで、実世界の応用における使いやすさを向上させること。
• UCR アーカイブを用いて HIVE-COTE v1.0 を用いて時系列分類の新しいベンチマークを確立すること。
• 最近の最先端モデル（InceptionTime、TS-CHIEF、ROCKET）と比較して、HIVE-COTE v1.0 の性能、速度、メモリ使用量を評価すること。

提案手法

• HIVE-COTE v1.0 は、CAWPE（交差検証精度加重確率アンサンブル）に基づく階層的アンサンブル構造を採用しており、各分類器の出力を精度加重確率推定値を用いて統合する。
• 元の Elastic Ensemble を、Time Series Forest (TSF)、cBOSS、RISE、および制限された shapelet 数え上げを施した収縮型 STC で構成される簡素化されたコンポーネントセットに置き換える。
• 各コンポーネントは異なるデータ表現に対して個別に訓練され、推定されたテスト精度に基づく重み付き投票により予測が統合される。
• フレームワークは、実行時間制限の設定、長時間実行ジョブのためのチェックポイント、およびトレーニングセットのパフォーマンスに基づくハイパーパramータチューニングをサポートする。
• アルゴリズムは tsml ライブラリに実装されており、TS-CHIEF や InceptionTime などの他の tsml ベースのモデルと直接比較可能である。
• 精度は、109 個の UCR 時系列データセットを用いて、正解率、トレーニング時間、推論時間、メモリ使用量という指標で評価される。

実験結果

リサーチクエスチョン

• RQ1 HIVE-COTE v1.0 は、InceptionTime や TS-CHIEF、ROCKET といった最近の最先端モデルと比較して、標準的な UCR ベンチマークでどの程度の正解率を達成するか？
• RQ2 元の HIVE-COTE における性能ボトルネックは何か。アルゴリズム的および工学的改善によってどのように緩和できるか？
• RQ3 HIVE-COTE v1.0 は、トレーニング時間と推論時間を著しく短縮しつつも、高い正解率をどの程度維持できるか？
• RQ4 実行時間制限、チェックポイント、チューナビリティの導入が、HIVE-COTE の実用的使いやすさにどの程度寄与するか？
• RQ5 HIVE-COTE v1.0 のメモリおよび計算コストは、他の主要な TSC モデルと比較してどの程度か？

主な発見

• HIVE-COTE v1.0 は、109 個の UCR データセットにおいて、InceptionTime や TS-CHIEF、ROCKET と同等の最先端の平均正解率を達成した。
• Elastic Ensemble の削除および STC における shapelet 数え上げの削減により、トレーニング速度が著しく向上し、平均トレーニング時間が 4.26 時間からより管理しやすい水準に短縮された。
• STC はトレーニングおよび推論において依然として最も遅いコンponent であるが、1 時間の時間制限が課されることで、過度な計算を防いでいる。
• HIVE-COTE v1.0 の平均推論時間は 1 データセットあたり 0.78 分であり、TS-CHIEF の 4.09 分よりも速く、元の HIVE-COTE よりも顕著に高速である。
• メモリ使用量は HIVE-COTE v1.0 が最も高かった（平均 1,618 MB、最大 4,426 MB）、が、TS-CHIEF（最大 18,532 MB）よりも低く、スケーラビリティに優れている。
• ROCKET は速度では HIVE-COTE v1.0 を上回るが、幾つかのデータセットで失敗しており、信頼性に欠ける。一方、HIVE-COTE v1.0 はより優れた設定可能性と信頼性を提供している。