[論文レビュー] Monash University, UEA, UCR Time Series Extrinsic Regression Archive

Chang Wei Tan, Christoph Bergmeir+2 more|arXiv (Cornell University)|Jun 19, 2020

Time Series Analysis and Forecasting参考文献 32被引用数 11

ひとこと要約

本論文は、時系列分類（TSC）や時系列予測（TSF）とは異なる、単一の連続値を単変量または多変量時系列から予測するという新しい問題クラスである時系列外部回帰（TSER）のための最初のベンチマークアーカイブを紹介する。アーカイブには、長さ、欠損値、次元数が異なる19の多様なデータセットが含まれており、13のアルゴリズムを評価した結果、最先端のTSC手法であるRocketが最も高い精度を示し、従来の機械学習手法や関数的回帰手法を上回った。

ABSTRACT

Time series research has gathered lots of interests in the last decade, especially for Time Series Classification (TSC) and Time Series Forecasting (TSF). Research in TSC has greatly benefited from the University of California Riverside and University of East Anglia (UCR/UEA) Time Series Archives. On the other hand, the advancement in Time Series Forecasting relies on time series forecasting competitions such as the Makridakis competitions, NN3 and NN5 Neural Network competitions, and a few Kaggle competitions. Each year, thousands of papers proposing new algorithms for TSC and TSF have utilized these benchmarking archives. These algorithms are designed for these specific problems, but may not be useful for tasks such as predicting the heart rate of a person using photoplethysmogram (PPG) and accelerometer data. We refer to this problem as Time Series Extrinsic Regression (TSER), where we are interested in a more general methodology of predicting a single continuous value, from univariate or multivariate time series. This prediction can be from the same time series or not directly related to the predictor time series and does not necessarily need to be a future value or depend heavily on recent values. To the best of our knowledge, research into TSER has received much less attention in the time series research community and there are no models developed for general time series extrinsic regression problems. Most models are developed for a specific problem. Therefore, we aim to motivate and support the research into TSER by introducing the first TSER benchmarking archive. This archive contains 19 datasets from different domains, with varying number of dimensions, unequal length dimensions, and missing values. In this paper, we introduce the datasets in this archive and did an initial benchmark on existing models.

研究の動機と目的

• 時系列分類（TSC）や時系列予測（TSF）とは異なる問題クラスとして、時系列外部回帰（TSER）における標準化されたベンチマークリソースの不足に対処すること。
• エネルギー監視、医療（PhysioNet）、気象（BOM）、WHO、信号処理コンペティション、学術寄付など、多様な分野から収集された19の実世界の時系列データセットを包括的に収集し、欠損値、不均等な長さ、複数次元といった多様な特徴を備えた、公開可能なキュレート済みアーカイブを提供することで、TSER分野の研究を促進すること。
• 新規TSERアーカイブ上で、最先端のTSCおよび従来の機械学習回帰アルゴリズムを用いて、ベースライン性能を確立すること。
• 既存のTSCおよび回帰アルゴリズムがTSERに最適でないことが示され、この分野に特化した新しい手法の開発の必要性が浮き彫りになること。

提案手法

• TSERアーカイブは、エネルギー監視、医療（PhysioNet）、気象（BOM）、WHO、信号処理コンペティション、学術寄付など、多様な分野から収集された19のデータセットから構成される。
• データセットは次元数（1～24）、長さ（12～100,000）が異なり、欠損値や不均等な長さを含んでおり、現実世界の複雑さを反映している。
• 13のアルゴリズムを用いた包括的な評価が実施された：3つの従来の機械学習モデル（Random Forest, XGBoost, SVR）、2つの関数的データ解析手法（FPCR, FPCR-B-spline）、4つのディープラーニングモデル（ResNet, FCN, InceptionTime, Rocket）、3つの時系列近傍法（1-NN-ED, 1-NN-DTW, 1-NN-DTWD）。
• 性能は、非決定的要因を考慮するための5回のランダム実行平均をとった、平均二乗誤差（RMSE）で測定された。
• 統計的有意性は、平均順位に対するフリードマン検定を実施し、有意水準α=0.05における臨界差（CD）が4.186のネーメニ氏後続検定を用いて評価された。
• 性能の統計的差を可視化するために、臨界差図が用いられ、重複しないグループは顕著な性能差を示している。

実験結果

リサーチクエスチョン

• RQ1 最先端のTSCおよび従来の機械学習回帰アルゴリズムは、新規TSERベンチマークアーカイブ上でどのように性能を発揮するか？
• RQ2 TSERタスクにおいて、関数的データ解析手法とディープラーニングモデルの間で顕著な性能差があるか？
• RQ3 既存のTSCアルゴリズム（例：Rocket）は、外部回帰タスクに移植可能で効果的であるか、それとも適応が必要か？
• RQ4 従来の回帰モデル（例：XGBoost, Random Forest）は、専用の時系列モデルと比較して、TSERタスクで相対的にどの程度の性能を示すか？
• RQ5 欠損値や不均等な時系列長の存在が、TSERデータセットコレクション全体のアルゴリズム性能に顕著な影響を及えるか？

主な発見

• Rocketは全19のデータセットで平均順位3.6842を達成し、SVR、NN-ED、1-NN-DTWDを顕著に上回った。
• XGBoost や Random Forest などの従来の機械学習モデルも競争力があり、TSERタスクにおける強力なポentialを示した。
• 最先端のTSCモデルと従来の回帰アルゴリズムの間には顕著な性能差が認められず、現行の手法がTSERに最適化されていないことが示された。
• 関数的データ解析手法（FPCRおよびFPCR-B-spline）は、ディープラーニングおよび従来の機械学習モデルと比較して劣った性能を示した。
• 臨界差図により、RocketがSVR や 1-NN-DTWD などのベースラインと統計的に優れていることが確認され、臨界差しきい値を上回る性能差が示された。
• 結果から、現在のアプローチがこの新興問題クラスに最適でないことが示され、TSERに特化した新しい世代のアルゴリズムの開発が求められることが示唆された。