[論文レビュー] Applying k-nearest neighbors to time series forecasting : two new approaches

Samya Tajmouati, Bouazza El Wahbi+3 more|arXiv (Cornell University)|Mar 26, 2021

Stock Market Forecasting Methods参考文献 13被引用数 15

ひとこと要約

本稿では、時系列予測のための2つの新しいk近傍法（k-NN）アプローチ、重み付き近傍法における古典的パラメータチューニング（CPTO-WNN）と重み付き近傍法における高速パラメータチューニング（FPTO-WNN）を提案する。CPTO-WNNは、最新の部分列を、同じ長さの過去のすべての部分列と比較して近傍を特定するが、FPTO-WNNは探索空間を制限することで計算コストを低減する。両手法とも、最適なkと特徴選択のための交差検証に類似したチューニングプロセスを用い、米国小売およびイギリスの乳製品生産データにおいて、SARIMA、Holt-Winters、ETSモデルを上回る優れた精度を示した。

ABSTRACT

K-nearest neighbors algorithm is one of the prominent techniques used in classification and regression. Despite its simplicity, the k-nearest neighbors has been successfully applied in time series forecasting. However, the selection of the number of neighbors and feature selection is a daunting task. In this paper, we introduce two methodologies to forecasting time series that we refer to as Classical Parameters Tuning in Weighted Nearest Neighbors and Fast Parameters Tuning in Weighted Nearest Neighbors. The first approach uses classical parameters tuning that compares the most recent subsequence with every possible subsequence from the past of the same length. The second approach reduces the neighbors' search set, which leads to significantly reduced grid size and hence a lower computational time. To tune the models' parameters, both methods implement an approach inspired by cross-validation for weighted nearest neighbors. We evaluate the forecasting performance and accuracy of our models. Then, we compare them to some classical approaches, especially, Seasonal Autoregressive Integrated Moving Average, Holt-Winters and Exponential Smoothing State Space Model. Real data examples on retail and food services sales in the USA and milk production in the UK are analyzed to demonstrate the application and the efficiency of the proposed approaches.

研究の動機と目的

• 時系列予測におけるk-NNの最適なkと特徴選択の選定という課題に取り組み、モデル性能に顕著な影響を与えること。
• 精度を損なわずに計算負荷を低減するため、k-NNベースの予測において近傍探索集合を制限することで、計算コストを削減すること。
• 交差検証に類似したアプローチを用いて、重み付きk-NNモデルの自動的かつ頑健なパラメータチューニング手順を開発すること。
• 提案手法をSARIMA、Holt-Winters、ETSといった古典的時系列モデルと比較し、実世界のデータセット上で評価すること。
• 小売販売および乳製品生産を含む多様な時系列データにおいて、提案手法の有効性と効率性を示すこと。

提案手法

• CPTO-WNNは、最新の部分列を、同じ長さのすべての可能な過去の部分列と完全に比較して、k個の近傍を特定する。
• FPTO-WNNは、近傍探索集合を制限することで、計算時間を顕著に短縮しつつ、予測精度を維持する。
• 両手法とも、テストセット全体での平均誤差を最小化するように、修正された交差検証技術を用いてkの数と関連する特徴をチューニングする。
• 予測は、k個の最も近い部分列の次期値の重み付き平均に基づき、重みは距離の逆数に比例する。
• 特徴選択はチューニングプロセスに統合され、情報量の多い部分列に焦点を当てることでモデル性能を向上させる。
• 手法は、米国小売および食料品サービス販売およびイギリスの牛乳生産という実データセットに適用され、MAPEを主な精度指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 kと特徴選択の最適化を図る体系的なパラメータチューニングアプローチは、k-NNによる時系列予測性能を向上させることができるか？
• RQ2 k-NNにおける完全な近傍探索の計算コストはスケーラビリティにどのように影響するか？ また、精度を損なわずにこれを低減できるか？
• RQ3 提案されたCPTO-WNNおよびFPTO-WNN手法は、SARIMA、Holt-Winters、ETSといった古典的モデルと比較して、精度と効率性においてどのように差をつけるか？
• RQ4 提案された交差検証に類似したチューニング手順は、デフォルト値やヒューリスティックなパラメータ選択よりも一貫して優れた予測結果をもたらすか？
• RQ5 予測ホライズンが異なる場合、モデル性能はどのように変化するか？ また、どの手法がより長いホライズンにおいても頑健性を保つのか？

主な発見

• 米国小売および食料品サービス販売データにおいて、CPTO-WNNは、複数の予測ホライズンにおいてMAPEの観点でFPTO-WNN、SARIMA、Holt-Winters、ETSを上回った。
• イギリスの乳製品生産データでは、CPTO-WNNとFPTO-WNNの両方が、すべてのホライズンでSARIMA、Holt-Winters、ETSを著しく上回ったが、FPTO-WNNは計算コストが最も低かった。
• 米国小売データにおいて、CPTO-WNNはホライズン7で最低のMAPE（1.285574）を達成したのに対し、FPTO-WNNは1.371099を記録し、両者ともETS（1.519837）とSARIMA（1.588464）を上回った。
• Holt-Winters手法は、米国小売データのホライズン1および2で収束しなかったため、提案されたチューニングフレームワーク下で不安定であることが示された。
• 予測ホライズンが延びるにつれて、すべてのモデルでMAPEが上昇したが、CPTO-WNNとFPTO-WNNは古典的モデルと比べて顕著に低い誤差率を維持した。
• FPTO-WNNは、近傍探索空間を削減しているため、CPTO-WNNよりも計算的に効率的であり、大規模またはリアルタイム応用に適している。