[논문 리뷰] Data-driven prediction of a multi-scale Lorenz 96 chaotic system using a hierarchy of deep learning methods: Reservoir computing, ANN, and RNN-LSTM

Ashesh Chattopadhyay, Pedram Hassanzadeh외 2명|arXiv (Cornell University)|2019. 06. 20.

Neural Networks and Reservoir Computing인용 수 25

한 줄 요약

이 연구는 다중 스케일 로렌츠 96 시스템을 예측하기 위해 느린 스케일 변수(X)만을 사용하여, 리저보어 컴퓨팅(RC-ESN), 인공 신경망(ANN), RNN-LSTM을 평가한다. RC-ESN은 단기 궤도 예측에서 양측 모델을 능가하며, 수백 개의 시간 단위에 걸쳐 혼돈 동역학을 정확히 예측하고, 장기적인 통계적 성질—확률 밀도 함수의 꼬리 행동 포함—을 가장 잘 유지한다.

ABSTRACT

In this paper, the performance of three deep learning methods for predicting short-term evolution and for reproducing the long-term statistics of a multi-scale spatio-temporal Lorenz 96 system is examined. The methods are: echo state network (a type of reservoir computing, RC-ESN), deep feed-forward artificial neural network (ANN), and recurrent neural network with long short-term memory (RNN-LSTM). This Lorenz 96 system has three tiers of nonlinearly interacting variables representing slow/large-scale ($X$), intermediate ($Y$), and fast/small-scale ($Z$) processes. For training or testing, only $X$ is available; $Y$ and $Z$ are never known or used. We show that RC-ESN substantially outperforms ANN and RNN-LSTM for short-term prediction, e.g., accurately forecasting the chaotic trajectories for hundreds of numerical solver's time steps, equivalent to several Lyapunov timescales. The RNN-LSTM and ANN show some prediction skills as well; RNN-LSTM bests ANN. Furthermore, even after losing the trajectory, data predicted by RC-ESN and RNN-LSTM have probability density functions (PDFs) that closely match the true PDF, even at the tails. The PDF of the data predicted using ANN, however, deviates from the true PDF. Implications, caveats, and applications to data-driven and data-assisted surrogate modeling of complex nonlinear dynamical systems such as weather/climate are discussed.

연구 동기 및 목표

• 숨겨진 빠른 및 중간 스케일을 가진 복잡한 다중 스케일 혼돈 시스템을 예측하기 위한 데이터 기반 딥러닝 방법을 평가하기 위해.
• 오직 느린 스케일 변수(X)에 기반한 모델이 전체 시스템의 동역학과 통계를 얼마나 잘 재구성할 수 있는지 평가하기 위해.
• 혼돈적인 시공간 시스템에서 리저보어 컴퓨팅, 피드포워드 ANN, RNN-LSTM의 예측 정확도와 통계적 정밀도를 비교하기 위해.
• 장기적인 확률 밀도 함수(PDF)를 유지하는 데 있어 학습된 모델의 강건성, 특히 극단적 꼬리 부분을 포함하여 평가하기 위해.
• 기후 및 기상과 같은 비선형 시스템의 데이터 기반 및 데이터 보조 모델링에 통찰을 제공하기 위해.

제안 방법

• 빠른(X), 중간(Y), 느린(Z) 변수로 구성된 다중 스케일 로렌츠 96 시스템을 사용하며, 모든 변수는 비선형적으로 결합되어 있다.
• 관측된 X 변수만을 사용하여 리저보어 컴퓨팅(RC-ESN), 피드포워드 인공 신경망(ANN), RNN-LSTM 세 가지 딥러닝 모델을 훈련한다.
• 고정된 무작위 리저보어를 가진 에코 스테이트 네트워크(RC-ESN)를 사용하며, 시간 동역학을 유지하기 위해 읽기 출력 레이어만 훈련한다.
• 과거 X 시퀀스에서 미래 X 상태를 예측하기 위해 백프로파게이션을 사용하여 ANN와 RNN-LSTM을 엔드 투 엔드로 훈련한다.
• 수치적 해법의 시간 단위와 리아프노프 시간 스케일을 기반으로 단기 예측 정확도를 평가한다.
• 예측된 데이터 분포(PDF)를 진짜 시스템의 PDF와 비교하며, 꼬리 행동까지 포함한다.

실험 결과

연구 질문

• RQ1 오직 느린 스케일 변수만 관측할 때, 리저보어 컴퓨팅(RC-ESN)이 표준 딥러닝 모델보다 다중 스케일 혼돈 시스템의 단기 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 ANN과 RNN-LSTM은 진짜 시스템의 장기 통계적 성질, 특히 PDF의 꼬리 부분을 얼마나 잘 재현하는가?
• RQ3 혼돈 시스템에서 궤도 손실 이후 RC-ESN의 예측 성능이 ANN과 RNN-LSTM보다 더 천천가서 떨어지는가?
• RQ4 Y와 Z 변수가 누락된 상태에서 오직 X 변수에 기반한 데이터 기반 모델이 전체 시스템의 통계적 구조를 어느 정도 유지하는가?
• RQ5 이러한 결과는 기후 및 기상과 같은 복잡한 시스템의 서rogate 모델링에 어떤 함의를 갖는가?

주요 결과

• RC-ESN은 가장 높은 단기 예측 정확도를 달성하여, 수백 개의 수치적 해법 시간 단위(여러 리아프노프 시간 스케일에 해당)에 걸쳐 혼돈 궤도를 예측한다.
• RNN-LSTM은 중간 수준의 예측 능력을 보이며, ANN보다는 우수하지만 RC-ESN의 궤도 정확도에 못 미친다.
• ANN는 제한된 예측 능력을 보이며, RNN-LSTM과 RC-ESN보다 예측 궤도가 더 빨리 분리된다.
• 궤도 손실 이후에도 RC-ESN과 RNN-LSTM은 진짜 시스템의 PDF, 특히 꼬리 부분까지도 밀도 함수가 유사하게 생성한다.
• ANN가 예측한 데이터의 PDF는 특히 극단적 꼬리 부분에서 진짜 PDF와 크게 다름으로써 통계적 정밀도가 떨어진다.
• 이러한 결과는 RC-ESN이 장기적인 통계 일관성이 중요한 복잡한 다중 스케일 혼돈 시스템의 데이터 기반 모델링에 가장 적합하다는 것을 시사한다.