[論文レビュー] Do We Really Need Deep Learning Models for Time Series Forecasting?

Shereen H. Elsayed, Daniela Thyssens+3 more|arXiv (Cornell University)|Jan 6, 2021

Traffic Prediction and Management Techniques参考文献 23被引用数 14

ひとこと要約

この論文は、適切に特徴工学を施した勾配ブースティング回帰木（GBRT）モデルを、連結された目的変数と外部特徴量を含むウィンドウベースの回帰フレームワークに変換することで、9つの時系列データセットにおいて複数の最先端の深層学習モデルを上回ることを示している。主な貢献は、文脈に配慮した入力工学が適切に行われた場合、複雑なDNNがなくても競争力のある予測性能が達成可能であることを示したことである。

ABSTRACT

Time series forecasting is a crucial task in machine learning, as it has a wide range of applications including but not limited to forecasting electricity consumption, traffic, and air quality. Traditional forecasting models rely on rolling averages, vector auto-regression and auto-regressive integrated moving averages. On the other hand, deep learning and matrix factorization models have been recently proposed to tackle the same problem with more competitive performance. However, one major drawback of such models is that they tend to be overly complex in comparison to traditional techniques. In this paper, we report the results of prominent deep learning models with respect to a well-known machine learning baseline, a Gradient Boosting Regression Tree (GBRT) model. Similar to the deep neural network (DNN) models, we transform the time series forecasting task into a window-based regression problem. Furthermore, we feature-engineered the input and output structure of the GBRT model, such that, for each training window, the target values are concatenated with external features, and then flattened to form one input instance for a multi-output GBRT model. We conducted a comparative study on nine datasets for eight state-of-the-art deep-learning models that were presented at top-level conferences in the last years. The results demonstrate that the window-based input transformation boosts the performance of a simple GBRT model to levels that outperform all state-of-the-art DNN models evaluated in this paper.

研究の動機と目的

• 従来の機械学習モデル（GBRTなど）が、深層学習に依存せずに時系列予測で競争力のある性能を達成できるかどうかを調査すること。
• ウィンドウベースの入力変換および特徴工学が、GBRTの時系列予測性能に与える影響を評価すること。
• 多様な時系列データセットにおいて、適切に設定されたGBRTベースラインと最先端の深層学習モデルを比較すること。
• 深層学習が高精度な時系列予測に不可欠であるという一般的な仮定に疑問を呈すること。
• 時系列研究における適切なモデル設定とベースライン選定の重要性を強調すること。

提案手法

• 時系列データに固定サイズのウィンドウをスライドさせることで、時系列予測問題をウィンドウベースの回帰問題に変換した。
• 過去のウィンドウ内の目的変数と外部共変数を連結して入力を特徴工学し、多出力GBRT用の単一の入力ベクトルにフラット化した。
• 各入力ウィンドウから同時に複数の将来時刻の予測を行う多出力GBRTモデルを用いた。
• 単変量および多変量の予測タスクの両方に対して、同じウィンドウ化および特徴工学アプローチを適用した。
• 電力、交通、大気質データを含む9つの多様なデータセットを用いて、標準指標（RMSE、MAE）でモデルを評価した。
• 全ウィンドウ内インスタンスの共変数を含めるか、最後の時刻のみを含めるかの影響を評価するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 GBRTをウィンドウベースの入力および出力構造に設定することで、時系列予測における性能にどのような影響を与えるか？
• RQ2 適切に設定されたGBRTモデルは、時系列予測において最先端の深層学習モデルを上回ることができるか？
• RQ3 ウィンドウ内の全過去時刻の共変数を含めるのと、最後の時刻のみを含めるのとで、性能にどのような差が生じるか？
• RQ4 単変量および多変量の予測タスクにおいて、GBRTの性能はDNNと比べてどうか？
• RQ5 ナイーブまたは従来の設定のGBRTモデルは、適切にエンジニアリングされたベースラインと比べてなぜ性能が低いのか？

主な発見

• ウィンドウベースで特徴工学を施したGBRTモデルは、評価された9つのデータセットすべてにおいて8つの最先端の深層学習モデル（LSTNetやDAQFFを含む）を上回った。
• 北京PM2.5データセットでは、GBRTモデルがRMSE 42.37、MAE 25.87を達成し、DAQFF（RMSE: 43.49、MAE: 27.53）を上回った。
• 都市大気質データセットでは、GBRTがRMSE 40.55、MAE 22.34を達成し、DAQFF（RMSE: 46.49、MAE: 25.01）を上回った。
• アブレーションスタディの結果、入力ウィンドウ内で最後の時刻の共変数のみを含めても、全インスタンスを含めた場合とほぼ同等の性能が得られ、計算コストを顕著に削減できた。
• 適切な入力工学を施したGBRTモデルは、ナチュラルなGBRTやARIMAベースラインを上回り、入力構成の重要性がモデル性能に与える影響が極めて大きいことが示された。
• 空気質予測に特化したDNN（DAQFFなど）ですら、エンジニアリングされたGBRTに劣った。これは、モデルの複雑さが必ずしも優れた結果をもたらすわけではないことを示している。