[論文レビュー] A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods

Manie Tadayon, Yumi Iwashita|arXiv (Cornell University)|Jan 27, 2020

Time Series Analysis and Forecasting参考文献 31被引用数 7

ひとこと要約

本稿では、異常値検出、欠損値補完、クラスタリングを統合したハイブリッドニューラルネットワークフレームワークを時間系列予測に提案している。距離ベース（DTW）と特徴ベースのクラスタリング手法を比較した結果、DTWクラスタリングは一貫して予測精度を向上させるが、特徴ベースのクラスタリングは優れた速度と効率性を示し、全体としてクラスタリングを組み込むことで、クラスタリングなしのベースラインモデルに比べて予測性能が向上することが明らかになった。

ABSTRACT

Time series forecasting has gained lots of attention recently; this is because many real-world phenomena can be modeled as time series. The massive volume of data and recent advancements in the processing power of the computers enable researchers to develop more sophisticated machine learning algorithms such as neural networks to forecast the time series data. In this paper, we propose various neural network architectures to forecast the time series data using the dynamic measurements; moreover, we introduce various architectures on how to combine static and dynamic measurements for forecasting. We also investigate the importance of performing techniques such as anomaly detection and clustering on forecasting accuracy. Our results indicate that clustering can improve the overall prediction time as well as improve the forecasting performance of the neural network. Furthermore, we show that feature-based clustering can outperform the distance-based clustering in terms of speed and efficiency. Finally, our results indicate that adding more predictors to forecast the target variable will not necessarily improve the forecasting accuracy.

研究の動機と目的

• ニューラルネットワークとクラスタリング手法を統合することで、時間系列予測の精度を向上させること。
• クラスタリング（特に距離ベースの（DTW）と特徴ベースの手法）が予測性能と計算効率に与える影響を評価すること。
• 静的および動的時間系列データを組み合わせることで、予測精度が向上するかを調査すること。
• より多くの時間系列測定値を追加することで、予測誤差が一貫して減少するかを評価すること。
• 異常値検出や欠損値補完といった前処理ステップが、モデルの信頼性向上に果たす価値を示すこと。

提案手法

• 時間系列データの外れ値を特定・置換するために、Loessを用いた季節・トレンド分解（STL）を用いて異常値検出を実施した。
• LSTMベースのモデルを含む複数のニューラルネットワークアーキテクチャを用い、動的測定値を用いて時間系列を予測した。
• 時間系列から統計的およびスペクトル的特徴を抽出して特徴ベースクラスタリングを実装し、距離ベースのDTWクラスタリングと比較した。
• 静的データ（例：メタデータ）と動的時間系列データを、複数のアーキテクチャ設計を用いて統合し、予測精度を向上させた。
• 異常値検出後にデータ補完技術を適用し、モデリング前のデータ整合性を確保した。
• 複数の構成とクラスタ数K（150–400）において、標準指標（RMSE、MAPE、MAE）を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いた時間系列データのクラスタリングは、予測精度を向上させるか？
• RQ2 距離ベース（DTW）と特徴ベースのクラスタリング手法は、予測精度と計算効率の観点でどのように比較されるか？
• RQ3 静的および動的特徴を組み合わせることで、時間系列予測性能が向上するか？
• RQ4 より多くの時間系列測定値を追加することで、予測誤差は一貫して減少するか？
• RQ5 異常値検出や補完といった前処理ステップが、予測結果に与える影響の程度はどの程度か？

主な発見

• 特徴ベースクラスタリングは、一部のケースでやや低い精度を示したものの、速度と時間計算量の観点でDTWクラスタリングを上回った。
• クラスタリングはすべてのモデルで予測精度を顕著に向上させ、モデル3ではK=300のとき、クラスタリングなしのMAPE 38.52からDTWクラスタリングで27.57に低下した。
• より多くの時間系列測定値を追加しても、予測精度が一貫して向上するとは限らず、一部の組み合わせ（例：最初の列と2番目の列）ではベースラインモデルより高い誤差（MAPE最大150.38）を示した。
• モデル3ではDTWクラスタリングがK=300でMAPE 27.57を達成し、最良の結果を得た一方、モデル1では特徴ベースクラスタリングが最も短い推論時間を記録した。
• 異常値検出と補完の統合により、データ品質が向上し、その結果としてクラスタリングおよび予測性能が向上した。
• 特定のニューラルネットワークアーキテクチャが一貫して優れていたわけではなく、最適な結果を得るには交差検証によるモデル選択が不可欠であった。