[論文レビュー] Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results

Razvan-Gabriel Cirstea, Darius-Valer Micu+3 more|arXiv (Cornell University)|Aug 29, 2018

Time Series Analysis and Forecasting参考文献 12被引用数 17

ひとこと要約

本稿では、1次元畳み込みニューラルネットワーク（1D CNN）を用いた特徴抽出とRNNを用いた時系列モデリングを組み合わせることで、相関のある時系列の予測を行う2つの深層学習モデル—畳み込み再帰ニューラルネットワーク（CRNN）と自己符号化器畳み込み再帰ニューラルネットワーク（AECRNN）—を提案する。AECRNNは自己符号化器を用いたマルチタスク学習によりロバスト性を向上させ、実世界の下水処理施設およびGoogleトレンドデータにおいて、特に長期間予測やノイズが多い状況でベースラインを上回る性能を発揮する。

ABSTRACT

Cyber-physical systems often consist of entities that interact with each other over time. Meanwhile, as part of the continued digitization of industrial processes, various sensor technologies are deployed that enable us to record time-varying attributes (a.k.a., time series) of such entities, thus producing correlated time series. To enable accurate forecasting on such correlated time series, this paper proposes two models that combine convolutional neural networks (CNNs) and recurrent neural networks (RNNs). The first model employs a CNN on each individual time series, combines the convoluted features, and then applies an RNN on top of the convoluted features in the end to enable forecasting. The second model adds additional auto-encoders into the individual CNNs, making the second model a multi-task learning model, which provides accurate and robust forecasting. Experiments on two real-world correlated time series data set suggest that the proposed two models are effective and outperform baselines in most settings. This report extends the paper "Correlated Time Series Forecasting using Multi-Task Deep Neural Networks," to appear in ACM CIKM 2018, by providing additional experimental results.

研究の動機と目的

• センサーからの相互依存的かつ相関のある時系列データを扱うサイバーフィジカルシステム（CPS）における正確な予測の課題に対処する。
• 従来の線形モデル（例：ARIMA）や標準的なRNNが、複数の時系列にわたる複雑で非線形な相関関係を扱う際の限界を克服する。
• 深層学習アーキテクチャに自己符号化器を組み込むことでマルチタスク学習を実現し、特徴学習の正則化を図ることでロバスト性と一般化性能を向上させる。
• 産業用CPS（例：下水処理施設や交通システム）におけるトレンド、異常、障害影響の予測を可能にすることで、包括的なシステム監視を実現する。

提案手法

• 個々の時系列に対して独立して1次元畳み込みニューラルネットワーク（CNN）を適用し、階層的で非線形な特徴を抽出する。
• すべての時系列から得られたプーリング済み特徴を連結し、それを再帰的ニューラルネットワーク（RNN）に供給することで、時間的依存性および時系列間の相関関係をモデル化する。
• AECRNNのCNNブランチ内に自己符号化器を導入し、元の時系列を再構築することで、特徴学習を正則化するマルチタスク学習を可能にする。
• RNNの予測誤差と自己符号化器の再構築誤差の両方を含む統合損失関数を最適化することで、一般化性能の向上と過学習の低減を図る。
• 2ブランチアーキテクチャを採用し、RNNが将来の値を予測する一方で、自己符号化器が学習された特徴が代表的かつノイズに強いことを保証する。
• 各データセットにおける最適なパフォーマンスを得るために、フィルタ数（AECRNNでは2、CRNNでは3）およびシーケンス長（l=50）などのハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 CNNとRNNを組み合わせたハイブリッド深層学習モデルは、実世界の産業用CPSにおける複数の相関時系列を効果的に予測できるか？
• RQ2 CNN-RNNフレームワークに自己符号化器を統合することで、ノイズが多いまたは相関の薄い入力に対しても予測のロバスト性が向上するか？
• RQ3 提案手法（CRNNおよびAECRNN）は、古典的手法（ARIMA、RNN、LSTM）およびベースラインの深層学習モデルと比較して、さまざまなシーケンス長および予測範囲において精度に優れているか？
• RQ4 相関のある時系列が与えられた場合、モデルはどの程度その恩恵を受けるか？また、相関のない時系列や合成時系列が導入された場合の性能はいかがなるか？
• RQ5 環境モニタリング（下水処理施設）とウェブ行動（Googleトレンド）といった異なる分野へ、最小限の再設定で一般化可能か？

主な発見

• 下水処理施設データセットにおいて、AECRNNはRMSEおよびMAPEの両面でCRNNおよびすべてのベースラインを上回っている。特に予測範囲が長い（p=25）場合や、入力シーケンス長が長い（l=50）場合に顕著である。
• Googleトレンドデータセットでは、p=25においてAECRNNが最も低いRMSEを達成しているが、p=50では性能がわずかに低下し、CRNNおよびLSTMと同等の性能を示す。
• 単一時系列の予測ではRNNが最も優れた性能を示すが、複数の相関時系列を入力に用いることでCRNNおよびAECRNNは顕著に精度が向上する。
• AECRNNに自己符号化器を組み込むことでロバスト性が向上：相関のない時系列を追加しても誤差は低く保たれ（MAPE=10.7）、一方でCRNNの性能は著しく低下する（MAPE=13.0）。
• 短いシーケンス（l=10）ではLSTMが最も高い精度を示すが、シーケンス長が延びるにつれてCRNNおよびAECRNNがそれを上回るようになる。これは、より長いコンテキストを扱えるスケーラビリティの優位性を示している。
• 可視化分析から、AECRNNは自己符号化器の正則化によりスパイクの振幅をよりよく捉えている一方で、CRNNは微細な歪みをよりよく保持していることが示され、振幅の正確さと詳細の忠実度の間にはトレードオフがあることが明らかになった。