[論文レビュー] A hybrid model based on deep LSTM for predicting high-dimensional chaotic systems

Youming Lei, Jian Hu+1 more|arXiv (Cornell University)|Jan 21, 2020

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、マッキー・グラスおよびクーラン・シヴァシーン系のような高次元のカオス的系の長期予測を改善するために、不正確な経験的力学モデルとハイブリッドな深層LSTMモデルを組み合わせる手法を提案する。経験的モデルの構造的制約と深層LSTMの時系列特徴抽出機能を統合することにより、軌道の発散を低減し、単独の深層LSTMと比較して予測信頼性の持続時間を200%以上延長した。

ABSTRACT

We propose a hybrid method combining the deep long short-term memory (LSTM) model with the inexact empirical model of dynamical systems to predict high-dimensional chaotic systems. The deep hierarchy is encoded into the LSTM by superimposing multiple recurrent neural network layers and the hybrid model is trained with the Adam optimization algorithm. The statistical results of the Mackey-Glass system and the Kuramoto-Sivashinsky system are obtained under the criteria of root mean square error (RMSE) and anomaly correlation coefficient (ACC) using the singe-layer LSTM, the multi-layer LSTM, and the corresponding hybrid method, respectively. The numerical results show that the proposed method can effectively avoid the rapid divergence of the multi-layer LSTM model when reconstructing chaotic attractors, and demonstrate the feasibility of the combination of deep learning based on the gradient descent method and the empirical model.

研究の動機と目的

• 初期条件への感受性と軌道の発散という要因により、高次元のカオス的系における長期予測の課題に対処すること。
• 純粋にデータ駆動のディープラーニングモデルでは、カオス的アトラクタを再構築する際に時間経過とともに発散するという限界を克服すること。
• 予測性能を向上させるために、不正確な経験的モデルと深層LSTMアーキテクチャを統合し、長期予測の安定性を高めること。
• 勾配ベースのディープラーニングと物理的制約を組み合わせた手法が、カオス的力学において実用的で優れた性能を示すことを示すこと。
• ハイブリッド機械学習と動的モデル化を用いた、複雑な高次元のカオス的系を予測するスケーラブルなフレームワークを提供すること。

提案手法

• 高次元時系列データ内の複雑な時系列依存性を捉えるために、マルチレイヤー長短期記憶（LSTM）ネットワークを用いる。
• 支配的偏微分方程式（例：KS方程式）から導出された不正確な経験的モデルを正則化項として統合し、LSTMの予測を制約する。
• 安定性と収束性を最適化するため、ハイパーパrameterを調整したAdam最適化アルゴリズムを用いてハイブリッドモデルを学習する。
• 連続的力学系（マッキー・グラスおよびクーラン・シヴァシーン系）の数値シミュレーションとデータ生成のため、2次精度の有限差分法を用いる。
• データから学習した動的挙動と既知の系構造を組み合わせることで、カオス的アトラクタの再構築にハイブリッドモデルを適用する。
• 複数の予測予測期間と初期条件において、RMSEと異常相関係数（ACC）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一のデータから学習した深層LSTMモデルは、高次元のカオス的系を効果的に予測できるか？
• RQ2 不正確な経験的モデルを統合することで、深層LSTMの長期的安定性と正確性はどのように向上するか？
• RQ3 ハイブリッドな深層LSTMモデルは、単層LSTMおよび非ハイブリッドモデルと比較して、相対的にどの程度の性能向上を達成するか？
• RQ4 ハイブリッドモデルは、カオス的アトラクタの長期的予測において、軌道の発散をどの程度低減するか？
• RQ5 予測精度と計算コストの観点から、リザボアールコンピューティングと比較して、ハイブリッド手法はどのように異なるか？

主な発見

• ハイブリッドマルチレイヤーLSTMモデルは、クーラン・シヴァシーン系において、単独のマルチレイヤーLSTMと比較して有効予測時間を38.04 MT（モデル時間単位）まで延長した。
• すべての予測期間において、単層LSTM、マルチレイヤーLSTM、ハイブリッド単層LSTMと比較して、ハイブリッドモデルは顕著に低い平均二乗誤差（RMSE）と高い異常相関係数（ACC）を達成した。
• 予測性能の順位は：単層LSTM < マルチレイヤーLSTM < ハイブリッド単層LSTM < ハイブリッドマルチレイヤーLSTM であり、深層ハイブリッドアプローチの優位性を確認した。
• 経験的モデルは、LSTM予測における長期的ドリフトを効果的に是正し、システムの「気候」を安定化させつつ、短期的精度を維持した。
• 訓練コストがやや高いものの、ハイブリッドモデルはリザボアールコンピューティングベースのハイブリッドモデルを予測精度の面で上回った。
• 物理的構造（経験的モデル）とディープラーニングの統合により、モデルのカオス的アトラクタの過渡的および定常的挙動を捉える能力が向上した。