[論文レビュー] Data-driven prediction of a multi-scale Lorenz 96 chaotic system using a hierarchy of deep learning methods: Reservoir computing, ANN, and RNN-LSTM

Ashesh Chattopadhyay, Pedram Hassanzadeh+2 more|arXiv (Cornell University)|Jun 20, 2019

Neural Networks and Reservoir Computing被引用数 25

ひとこと要約

本研究では、遅いスケール変数（X）のみを用いて、マルチスケール・ローレンツ96系の予測を行うために、リザボア計算（RC-ESN）、人工ニューラルネットワーク（ANN）、RNN-LSTMを評価する。RC-ESNは短期的な軌道予測において両モデルを上回り、数百ステップにわたりカオス的ダイナミクスを正確に予測する。また、確率密度関数（PDF）の端末部を含む長期的統計的性質の保持においても最良の性能を示す。

ABSTRACT

In this paper, the performance of three deep learning methods for predicting short-term evolution and for reproducing the long-term statistics of a multi-scale spatio-temporal Lorenz 96 system is examined. The methods are: echo state network (a type of reservoir computing, RC-ESN), deep feed-forward artificial neural network (ANN), and recurrent neural network with long short-term memory (RNN-LSTM). This Lorenz 96 system has three tiers of nonlinearly interacting variables representing slow/large-scale ($X$), intermediate ($Y$), and fast/small-scale ($Z$) processes. For training or testing, only $X$ is available; $Y$ and $Z$ are never known or used. We show that RC-ESN substantially outperforms ANN and RNN-LSTM for short-term prediction, e.g., accurately forecasting the chaotic trajectories for hundreds of numerical solver's time steps, equivalent to several Lyapunov timescales. The RNN-LSTM and ANN show some prediction skills as well; RNN-LSTM bests ANN. Furthermore, even after losing the trajectory, data predicted by RC-ESN and RNN-LSTM have probability density functions (PDFs) that closely match the true PDF, even at the tails. The PDF of the data predicted using ANN, however, deviates from the true PDF. Implications, caveats, and applications to data-driven and data-assisted surrogate modeling of complex nonlinear dynamical systems such as weather/climate are discussed.

研究の動機と目的

• 隠れた速いスケールおよび中間スケールを有する複雑なマルチスケールカオス的系の予測のためのデータ駆動型ディープラーニング手法を評価すること。
• 遅いスケール変数（X）のみで訓練されたモデルが、全系のダイナミクスおよび統計をどの程度再構築できるかを評価すること。
• リザボア計算、フィードフォワード型ANN、RNN-LSTMの予測精度および統計的整合性を、カオス的空間時間系において比較すること。
• 学習済みモデルが長期的確率密度関数（PDF）を、極端な尾部を含めてどの程度保持できるかを調査すること。
• 気象や気候のような非線形系のデータ駆動型およびデータ支援型モデリングに、これらの知見がどのように寄与するかを明らかにすること。

提案手法

• 遅い（X）、中間（Y）、速い（Z）の3段階のスケールを持つマルチスケール・ローレンツ96系を採用し、すべての変数が非線形に結合されている。
• 観測されたX変数のみを用いて、リザボア計算（RC-ESN）、フィードフォワード型人工ニューラルネットワーク（ANN）、RNN-LSTMの3つのディープラーニングモデルを訓練する。
• 固定されたランダムなリザボアを持つエコー状態ネットワーク（RC-ESN）を用い、時間的ダイナミクスを保持するために読み出し層のみを訓練する。
• ANNおよびRNN-LSTMをバックプロパゲーションを用いてエンドツーエンドに訓練し、過去のX系列から将来のX状態を予測する。
• 数値解法の時間ステップおよびリャプノフ時定数スケールを用いて、短期予測精度を評価する。
• 真の系のPDF（特に尾部挙動を含む）と比較して、予測されたデータ分布（PDF）を評価する。

実験結果

リサーチクエスチョン

• RQ1 遅いスケール変数（X）のみを観測した場合、リザボア計算（RC-ESN）は、標準的なディープラーニングモデルを上回り、マルチスケールカオス的系の短期予測において優れた性能を示すか？
• RQ2 ANNおよびRNN-LSTMは、真の系の長期的統計的性質、特にPDFの尾部においてどの程度再現できるか？
• RQ3 カオス的系における軌道の喪失後、RC-ESNの予測性能は、ANNおよびRNN-LSTMよりもゆっくり劣化するか？
• RQ4 YおよびZ変数が欠落しているにもかかわらず、X変数のみで訓練されたデータ駆動型モデルが、全系の統計的構造をどの程度保持できるか？
• RQ5 これらの発見は、気象や気候のような複雑な系のサーミュレートモデリングにどのような意味を持つのか？

主な発見

• RC-ESNは最高の短期予測精度を達成し、数値解法の時間ステップ数（数100ステップ）にわたり、リャプノフ時定数スケールに相当するカオス的軌道を正確に予測した。
• RNN-LSTMは中程度の予測スキルを示し、ANNを上回ったが、RC-ESNの軌道精度には及ばなかった。
• ANNは限定的な予測スキルを示し、RC-ESNおよびRNN-LSTMと比較して、予測された軌道の発散が著しく速かった。
• 軌道の喪失後でさえ、RC-ESNおよびRNN-LSTMが予測するデータの確率密度関数（PDF）は、真の系のPDFとよく一致しており、尾部部においても同様であった。
• ANNが予測するデータのPDFは真のPDFから著しく乖離しており、特に極端な尾部において顕著であった。これは、統計的整合性に欠けることを示唆している。
• これらの結果から、長期的統計的一致性が重要な複雑なマルチスケールカオス的系のデータ駆動型モデリングには、RC-ESNが最適であると考えられる。