[論文レビュー] Comparison of Deep learning models on time series forecasting : a case study of Dissolved Oxygen Prediction

Hongqian Qin|arXiv (Cornell University)|Nov 17, 2019

Hydrological Forecasting Using AI参考文献 47被引用数 19

ひとこと要約

本研究では、2012–2016年の高頻度リアルタイムデータを用いて、揚子江における溶解酸素（DO）濃度を予測するためのマルチステップディープラーニングモデル—LSTM、GRU、BiRNN、TCN、CNN—を比較した。ウォークフォワード検証を用い、すべての時間ステップにおいてRMSE、MAE、R²の観点でGRUが他のすべてのモデルを上回った。予測精度は2.5–4時間後以降で非線形的に低下した。

ABSTRACT

Deep learning has achieved impressive prediction performance in the field of sequence learning recently. Dissolved oxygen prediction, as a kind of time-series forecasting, is suitable for this technique. Although many researchers have developed hybrid models or variant models based on deep learning techniques, there is no comprehensive and sound comparison among the deep learning models in this field currently. Plus, most previous studies focused on one-step forecasting by using a small data set. As the convenient access to high-frequency data, this paper compares multi-step deep learning forecasting by using walk-forward validation. Specifically, we test Convolutional Neural Network (CNN), Temporal Convolutional Network (TCN), Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), Bidirectional Recurrent Neural Network (BiRNN) based on the real-time data recorded automatically at a fixed observation point in the Yangtze River from 2012 to 2016. By comparing the average accumulated statistical metrics of root mean square error (RMSE), mean absolute error (MAE), and coefficient of determination in each time step, We find for multi-step time series forecasting, the average performance of each time step does not decrease linearly. GRU outperforms other models with significant advantages.

研究の動機と目的

• 川の溶解酸素（DO）濃度のマルチステップ時系列予測のためのディープラーニングモデルを包括的かつ公平に比較すること。
• 2012–2016年の実際の高頻度DOデータを用いたウォークフォワード検証により、モデルのパフォーマンスを評価すること。
• 予測精度が時間ステップに伴い線形に低下するのか、それとも非線形に低下するのかを調査すること。
• 現実のデータ条件下で単変量DO予測に最も頑健なディープラーニングアーキテクチャを同定すること。

提案手法

• リアルタイム予測を模倣するため、拡大ウィンドウを用いたウォークフォワード検証を採用。5時間分の歴史的DOデータを用いて、次の5時間分を予測した。
• 同じデータセットと実験設定で、CNN、TCN、LSTM、GRU、BiRNNの5つのディープラーニングモデルを訓練および評価した。
• 主な評価指標として、平均二乗誤差（RMSE）、平均絶対誤差（MAE）、決定係数（R²）を用いた。
• データ前処理としてゼロ値の除去とデータ品質問題の対処を実施したが、極端な外れ値は未解決のままであった。
• 経験的チューニングによりハイパーパrameterを最適化し、トレーニング速度を向上させるために大きなバッチサイズ、小さなユニット数、フィルタ数を選択した。
• すべての時間ステップ（1～10）における平均パフォーマンス指標を計算し、マルチステップ予測の信頼性を評価した。

実験結果

リサーチクエスチョン

• RQ1 どのディープラーニングモデルがリアルタイム川のモニタリングにおけるマルチステップ溶解酸素予測で最高の予測精度を達成するか？
• RQ2 予測パフォーマンスは時間ステップに伴いどのように低下するのか？その低下は線形か非線形か？
• RQ3 GRUはLSTMおよび他のRNNバリアントと比較して、DO時系列における長期依存関係を捉える能力に優れているか？
• RQ4 CNN、TCN、RNNsといった異なるアーキテクチャは、高頻度で非定常な水質データをどのように処理するか？

主な発見

• GRUは全時間ステップにおいて平均RMSEとMAEが最低で、平均R²が最高であり、全体的なパフォーマンスが優れていた。
• LSTMはRMSEとMAEが最も高く、R²が最も低く、テストされた6つのモデルの中で最も精度が低かった。
• 全モデルの予測精度は非線形に低下し、2.5時間および4時間以降で急激に性能が低下した。
• 性能の低下は一様ではなく、特に2.5時間以降では誤差率が急激に上昇する傾向が見られた。
• 異なるハイパーパrameter設定に対しても結果は頑健であり、チューニングの選択に関わらず一貫したモデル順位が得られた。
• 極端な値や測定誤差といったデータ品質の問題が存在しても、特にGRUを含むディープラーニングモデルはノイズの多い現実の時系列データに対して耐性を示した。