[論文レビュー] Time series model selection with a meta-learning approach; evidence from a pool of forecasting algorithms

Sasan Barak, Mahdi Nasiri+1 more|arXiv (Cornell University)|Aug 22, 2019

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本稿では、時系列特徴を活用して、最先端の多様な手法の中から最適な予測アルゴリズムを推薦するメタラーニングフレームワークを提案する。NN5データセットと複数のメタラーナーを用いて、メタラーナーが個々の予測モデルを上回ることを示し、特徴選択により性能がさらに向上することを確認した。これは、アルゴリズム選択、誤差測定の感受性、特徴空間次元数に関する主なギャップを解消するものである。

ABSTRACT

One of the challenging questions in time series forecasting is how to find the best algorithm. In recent years, a recommender system scheme has been developed for time series analysis using a meta-learning approach. This system selects the best forecasting method with consideration of the time series characteristics. In this paper, we propose a novel approach to focusing on some of the unanswered questions resulting from the use of meta-learning in time series forecasting. Therefore, three main gaps in previous works are addressed including, analyzing various subsets of top forecasters as inputs for meta-learners; evaluating the effect of forecasting error measures; and assessing the role of the dimensionality of the feature space on the forecasting errors of meta-learners. All of these objectives are achieved with the help of a diverse state-of-the-art pool of forecasters and meta-learners. For this purpose, first, a pool of forecasting algorithms is implemented on the NN5 competition dataset and ranked based on the two error measures. Then, six machine-learning classifiers known as meta-learners, are trained on the extracted features of the time series in order to assign the most suitable forecasting method for the various subsets of the pool of forecasters. Furthermore, two-dimensionality reduction methods are implemented in order to investigate the role of feature space dimension on the performance of meta-learners. In general, it was found that meta-learners were able to defeat all of the individual benchmark forecasters; this performance was improved even after applying the feature selection method.

研究の動機と目的

• 時系列予測におけるメタラーニングの未解決課題、すなわち上位予測モデルからの入力選択、誤差測定の感受性、特徴空間次元数に関する課題を解決すること。
• 異なる予測誤差測定指標がメタラーナーのパフォーマンスに与える影響を評価すること。
• 次元削減が、最適な予測アルゴリズムを選択するメタラーナーの精度に与える影響を調査すること。
• 多様な最先端アルゴリズムのプールから最良の予測手法を選択できる、堅牢なメタラーニングシステムを開発すること。
• 複数の設定において、メタラーナーと個々の予測モデルとの間で、実証的証拠を提供すること。

提案手法

• NN5コンペティションデータセットに、最先端の多様な予測アルゴリズムを適用し、MAE と RMSE の2つの誤差測定指標を用いて順位付けを行った。
• 各系列の特徴を表すための時系列特徴量を抽出し、これをメタラーナーの入力とした。
• 6種類の機械学習分類器（メタラーナー）を訓練し、抽出された特徴量に基づいて、最もパフォーマンスの良い予測アルゴリズムを予測した。
• 次元削減手法として主成分分析（PCA）と特徴選択を適用し、特徴空間のサイズがメタラーナーのパフォーマンスに与える影響を評価した。
• メタラーナーのパフォーマンスを、上位予測モデルの異なるサブセットに対して、個々の予測モデルと比較することで評価した。
• 誤差測定指標と特徴空間の次元削減が、モデル選択精度に与える影響を体系的に分析した。

実験結果

リサーチクエスチョン

• RQ1 予測誤差測定指標（MAE 対 RMSE）の選択が、メタラーナーのアルゴリズム選択パフォーマンスに与える影響は何か？
• RQ2 上位予測モデルの異なるサブセットをメタラーナーの入力として使用した場合、その影響は何か？
• RQ3 特徴空間の次元削減が、時系列モデル選択におけるメタラーナーの精度に与える影響は何か？
• RQ4 メタラーナーは、多様な時系列特性を持つデータに対して、一貫して個々の予測アルゴリズムを上回る性能を示せるか？
• RQ5 特徴選択が、モデル選択におけるメタラーナーの汎化性能と精度をどの程度向上させるか？

主な発見

• メタラーナーは、NN5データセット全体において、すべての個別ベンチマーク予測モデルを一貫して上回った。
• 特徴選択を適用した後、メタラーナーのパフォーマンスがさらに向上した。これは、特徴空間の縮小がモデル選択精度を向上させることを示している。
• 誤差測定指標（MAE または RMSE）の選択が、メタラーナーのパフォーマンスに顕著な影響を及ぼし、RMSE はモデル選択結果に対してより強い感受性を示した。
• 次元削減手法、特に特徴選択を用いることで、全特徴量を使用した場合と比較して、より堅牢で正確なメタラーナーの予測が得られた。
• 上位予測モデルの適切に選択されたサブセットを用いて訓練したメタラーナーは、すべての予測モデルを用いたものよりも高い精度を達成した。これは、入力選択が極めて重要であることを示している。
• 本研究では、メタラーニングが多様な時系列に一貫して一般化できることを示しており、個々の予測モデルに対する信頼できる代替手段であると結論づけた。