[논문 리뷰] A hybrid model based on deep LSTM for predicting high-dimensional chaotic systems

Youming Lei, Jian Hu외 1명|arXiv (Cornell University)|2020. 01. 21.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 매크시-글라스 및 쿠라모토-시바시니 시스템과 같은 고차원 혼돈 시스템의 장기 예측을 향상시키기 위해 비정확한 경험적 동역학 모델과 융합한 하이브리드 딥 LSTM 모델을 제안한다. 경험적 모델의 구조적 제약 조건과 딥 LSTM의 시간적 특징 학습 능력을 통합함으로써, 단독 딥 LSTM에 비해 궤도 발산을 감소시키고 예측 가능 시간을 200% 이상 연장시킨다.

ABSTRACT

We propose a hybrid method combining the deep long short-term memory (LSTM) model with the inexact empirical model of dynamical systems to predict high-dimensional chaotic systems. The deep hierarchy is encoded into the LSTM by superimposing multiple recurrent neural network layers and the hybrid model is trained with the Adam optimization algorithm. The statistical results of the Mackey-Glass system and the Kuramoto-Sivashinsky system are obtained under the criteria of root mean square error (RMSE) and anomaly correlation coefficient (ACC) using the singe-layer LSTM, the multi-layer LSTM, and the corresponding hybrid method, respectively. The numerical results show that the proposed method can effectively avoid the rapid divergence of the multi-layer LSTM model when reconstructing chaotic attractors, and demonstrate the feasibility of the combination of deep learning based on the gradient descent method and the empirical model.

연구 동기 및 목표

• 초기 조건에 민감하고 궤도 발산으로 인해 발생하는 고차원 혼돈 시스템에서의 장기 예측 과제를 해결한다.
• 혼돈 애트랙터를 재구성할 때 시간이 지남에 따라 자주 발산하는 순수 데이터 기반 딥 러닝 모델의 한계를 극복한다.
• 예측 안정성을 높이기 위해 비정확한 경험적 모델을 딥 LSTM 아키텍처와 융합하여 성능을 향상시킨다.
• 혼돈 역학에서 기울기 기반 딥 러닝과 물리 모델링 제약 조건을 융합하는 것이 가능하고 우월함을 입증한다.
• 하이브리드 기계 학습 및 동역학 모델링을 활용해 복잡한 고차원 혼돈 시스템을 예측할 수 있는 확장 가능한 프레임워크를 제공한다.

제안 방법

• 고차원 시계열 데이터의 복잡한 시간적 의존성을 포착하기 위해 다층 LSTM 네트워크를 사용한다.
• 지배하는 편미분 방정식(예: KS 방정식)에서 유도된 비정확한 경험적 모델을 정규화 항으로 통합하여 LSTM 예측을 제약한다.
• 안정성과 수렴성을 고려해 초모수를 조정한 Adam 최적화 알고리즘을 사용해 하이브리드 모델을 훈련한다.
• 연속적인 동역학 시스템(Mackey-Glass 및 Kuramoto-Sivashinsky)을 수치 시뮬레이션과 데이터 생성을 위해 2차 유한 차분 방법으로 이산화한다.
• 학습된 동역학과 알려진 시스템 구조를 융합하여 혼돈 애트랙터를 재구성하기 위해 하이브리드 모델을 적용한다.
• 다양한 예측 수평과 초기 조건에서 RMSE 및 이상 상관 계수(ACC)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단지 데이터로만 훈련된 딥 LSTM 모델이 고차원 혼돈 시스템을 효과적으로 예측할 수 있는가?
• RQ2 비정확한 경험적 모델의 통합이 딥 LSTM 예측의 장기적 안정성과 정확도를 어떻게 향상시키는가?
• RQ3 하이브리드 딥 LSTM 모델은 단층 LSTM 및 비하이브리드 모델에 비해 상대적으로 얼마나 높은 성능을 보이는가?
• RQ4 혼돈 애트랙터의 장기 예측 동안 하이브리드 모델이 궤도 발산을 얼마나 줄이는가?
• RQ5 예측 정확도와 계산 비용 측면에서 기존의 리저보어 컴퓨팅 기반 방법과 비교할 때 하이브리드 접근 방식은 어떻게 다른가?

주요 결과

• 쿠라모토-시바시니 시스템에 대해 하이브리드 다층 LSTM 모델은 단독 다층 LSTM에 비해 유의미하게 더 긴 예측 시간(38.04 MT)을 확보했다.
• 모든 예측 수평에서 단층 LSTM, 다층 LSTM, 하이브리드 단층 LSTM에 비해 하이브리드 모델이 훨씬 낮은 평균 제곱근 오차(RMSE)와 높은 이상 상관 계수(ACC)를 기록했다.
• 예측 성능 순위는: 단층 LSTM < 다층 LSTM < 하이브리드 단층 LSTM < 하이브리드 다층 LSTM로, 깊이 있는 하이브리드 접근 방식의 우월성을 확인했다.
• 경험적 모델은 LSTM 예측의 장기적 드리프트를 효과적으로 보정하여 시스템의 '기후'를 안정화시키면서도 단기 정확도를 유지했다.
• 더 높은 훈련 비용에도 불구하고, 리저보어 컴퓨팅 기반 하이브리드 모델보다 예측 정확도에서 뛰어난 성능을 보였다.
• 물리적 구조(경험적 모델)를 딥 러닝과 융합함으로써, 혼돈 애트랙터의 일시적 및 정적인 행동을 모두 잘 포착할 수 있는 능력이 향상되었다.