[論文レビュー] Towards Better Forecasting by Fusing Near and Distant Future Visions

Jiezhu Cheng, Kaizhu Huang+1 more|arXiv (Cornell University)|Dec 11, 2019

Behavioral Health and Interventions参考文献 28被引用数 4

ひとこと要約

本稿では、多変量時系列予測の精度を向上させるために、近未来と遠未来の予測を統合する共通のエンコーダ・デコーダアーキテクチャを採用した、多段階の理解（Construal Level Theory）にインspiredされたマルチタスク深層学習フレームワーク、Multi-Level Construal Neural Network (MLCNN) を提案する。モデルは、3つの実世界のデータセットにおいて平均RMSEが4.59%、平均MAEが6.87%低減され、最先端の性能を達成している。これは、複数の予測タスクを統合的にモデリングし、スケールに頑健な性質を持つ自己回帰的コンponentを統合することで実現された。

ABSTRACT

Multivariate time series forecasting is an important yet challenging problem in machine learning. Most existing approaches only forecast the series value of one future moment, ignoring the interactions between predictions of future moments with different temporal distance. Such a deficiency probably prevents the model from getting enough information about the future, thus limiting the forecasting accuracy. To address this problem, we propose Multi-Level Construal Neural Network (MLCNN), a novel multi-task deep learning framework. Inspired by the Construal Level Theory of psychology, this model aims to improve the predictive performance by fusing forecasting information (i.e., future visions) of different future time. We first use the Convolution Neural Network to extract multi-level abstract representations of the raw data for near and distant future predictions. We then model the interplay between multiple predictive tasks and fuse their future visions through a modified Encoder-Decoder architecture. Finally, we combine traditional Autoregression model with the neural network to solve the scale insensitive problem. Experiments on three real-world datasets show that our method achieves statistically significant improvements compared to the most state-of-the-art baseline methods, with average 4.59% reduction on RMSE metric and average 6.87% reduction on MAE metric.

研究の動機と目的

• 既存のモデルが単一の未来時刻の予測しか行わないという限界を是正すること。特に、異なる時間的距離における予測の相互作用を活用しないことの問題点を解消する。
• 人間の予測に関する心理的理論（Construal Level Theory）を応用し、近未来と遠未来の複数の予測を統合することで、予測精度を向上させること。
• 複数の予測タスク間で表現を共有しながらも、モデルの効率性と頑健性を維持する深層学習アーキテクチャを設計すること。
• ニューラル予測モデルにおけるスケールに敏感な問題を軽減するため、従来の自己回帰モデルと非線形ニューラルコンponentを統合すること。

提案手法

• モデルは、複数の予測タスク（異なる将来の時間窓）に対して、生時系列データから階層的な抽象表現を抽出するためのマルチレベルCNNを用いる。
• 共有された長短期記憶（LSTM）ネットワークが、近未来と遠未来の予測の間の相互作用を捉えるための統合エンコーダとして機能する。
• 専用のメインLSTMがデコーダとして機能し、共有された特徴を用いてターゲット時刻の主要な予測を生成する。
• ニューラルネットワークに自己回帰的コンponentを統合することで、入力スケールの変動に対してより頑健な性能を実現する。
• CNNおよびLSTMコンponentの間でパラメータ共有をタスク間で適用することで、モデルの効率性を維持し、複雑さを低減する。
• 複数の将来時刻における予測を同時に最適化するマルチタスク学習目的関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 近未来と遠未来の複数の将来時刻からの予測を統合することで、主な予測タスクの精度が向上するか？
• RQ2 共有表現を用いて異なる未来の視点間の相互作用をモデリングすることで、多変量時系列予測における一般化性能が向上するか？
• RQ3 心理的理解理論（Construal Level Theory）にインspiredされた多段階の抽象化メカニズムを組み込むことで、予測性能がどの程度向上するか？
• RQ4 ニューラルネットワークと自己回帰コンponentを統合することで、深層学習ベースの時系列予測におけるスケール感受性が軽減されるか？
• RQ5 提案されたMLCNNアーキテクチャは、ハイパーパramータの変化やデータセットサイズの変動に対してどの程度頑健か？

主な発見

• MLCNNは、3つの実世界のデータセットにおいて、すべての最先端のベースラインより統計的に有意に優れた性能を示し、平均RMSEが4.59%低減、平均MAEが6.87%低減した。
• 完全なMLCNNモデルは、すべての変種よりも優れた性能を示しており、多段階の抽象化、共有統合エンコーダ、メインデコーダ、自己回帰統合の各コンponentが性能向上に寄与していることを実証した。
• 自己回帰コンponentを削除したMLCNN-nAでは、最も顕著な性能低下が観察され、スケール不変性モデリングの重要性が裏付けられた。
• MLCNNは、LSTNetおよびその変種と比較して、より低い分散とハイパーパramータ変更に対する高い頑健性を示しており、安定した一般化性能を有している。
• マルチタスク設計であるにもかかわらず、トレーニングおよび推論時間がベースラインと同等の水準を維持しており、効率性が裏付けられた。
• アブレーションスタディの結果、共有統合エンコーダと多段階の抽象化が性能に不可欠であることが確認され、それらを削除すると一貫して顕著な精度低下が生じた。