[논문 리뷰] Model-free prediction of noisy chaotic time series by deep learning

Kyongmin Yeo|arXiv (Cornell University)|2017. 09. 29.

Neural Networks and Applications인용 수 13

한 줄 요약

이 논문은 장기 기억 순환 신경망(LSTM)을 사용하고 소프트맥스 출력층을 갖춘 딥러닝 모델을 제안한다. 이 모델은 기저 역학에 대한 사전 지식 없이 노이즈가 섞인 혼돈 시간 시리즈의 조건부 확률 분포를 예측한다. 모델은 노이즈를 효과적으로 필터링하고 복잡한 비선형 역학을 포착하며, 예측 불확실성이 시간에 따라 동적으로 변화함을 보여주며, 단순히 증가하지는 않는다. 장기 예측(최대 500단계) 동안 참값 상태는 항상 95% 신뢰구간 내에 존재한다.

ABSTRACT

We present a deep neural network for a model-free prediction of a chaotic dynamical system from noisy observations. The proposed deep learning model aims to predict the conditional probability distribution of a state variable. The Long Short-Term Memory network (LSTM) is employed to model the nonlinear dynamics and a softmax layer is used to approximate a probability distribution. The LSTM model is trained by minimizing a regularized cross-entropy function. The LSTM model is validated against delay-time chaotic dynamical systems, Mackey-Glass and Ikeda equations. It is shown that the present LSTM makes a good prediction of the nonlinear dynamics by effectively filtering out the noise. It is found that the prediction uncertainty of a multiple-step forecast of the LSTM model is not a monotonic function of time; the predicted standard deviation may increase or decrease dynamically in time.

연구 동기 및 목표

• 노이즈가 섞이고 완전하지 않은 관측치만 제공될 때 혼돈 동역계를 예측하기 위한 모델-프리 딥러닝 접근법을 개발하는 것.
• 시스템의 방정식이나 구조에 대한 사전 지식 없이 비선형적이고 노이즈가 섞인 혼돈 시간 시리즈를 예측하는 데 도전하는 것.
• 노이즈가 섞인 과거 관측치를 바탕으로 미래 상태의 조건부 확률 분포를 모델링하여 예측의 불확실성 정량화를 가능하게 하는 것.
• 실제 노이즈 조건에서 벤치마크 혼돈 시스템(Mackey-Glass 및 Ikeda 방정식)에 대해 방법을 검증하는 것.
• 딥러닝이 비단조화적이고 동적으로 적응 가능한 방식으로 진정한 역학을 효과적으로 재구성하고 불확실성을 전파할 수 있음을 보여주는 것.

제안 방법

• 모델은 노이즈가 섞인 시간 시리즈 데이터의 장기적 시간 의존성과 비선형 역학을 포착하기 위해 장기 기억 순환 신경망(LSTM)을 사용한다.
• 미래 상태 간격에 대한 이산 확률 분포를 근사하기 위해 소프트맥스 출력층을 활용하여 확률적 예측을 가능하게 한다.
• LSTM는 예측된 확률 분포의 음의 로그우도를 최소화하는 정규화된 교차 엔트로피 손실 함수를 최소화함으로써 훈련된다.
• 상태공간은 사전 정의된 경계 집합을 사용하여 간격으로 이산화되며, 출력 확률은 미래 관측치가 각 간격 내에 속할 가능성에 해당한다.
• 모델은 전체 과거 노이즈 관측치 $ \bm{Y}_{0:t} $ 에 기반하여 예측을 조건화하며, 다단계 예측을 위해 $ p(\tilde{y}_{t+n} | \bm{Y}_{0:t}) $ 를 추정한다.
• 아키텍처는 비선형 활성화 함수(tanh, sigmoid, softplus)를 갖는 다중 완전 연결층을 포함하여 입력 시퀀스에서 예측 분포로의 복잡한 비선형 매핑을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기저 역학이 알려져 있지 않고 오직 노이즈가 섞인 관측치만 제공될 때, 딥러닝 모델이 혼돈 시간 시리즈의 조건부 확률 분포를 정확하게 예측할 수 있는가?
• RQ2 딥러닝 모델에서 혼돈 시스템에 대한 예측 불확실성은 시간이 지남에 따라 어떻게 변화하는가? 단순히 증가하는가 아니면 동적 변동을 보이는가?
• RQ3 LSTM 기반 모델은 노이즈가 섞인 데이터로부터 Mackey-Glass 및 Ikeda 방정식과 같은 혼돈 시스템의 진정한 역학을 어느 정도 재구성할 수 있는가?
• RQ4 노이즈와 결정론적 혼돈이 존재하는 상황에서도 장기 예측(예: 500단계) 동안 높은 예측 정확도와 불확실성 캘리브레이션을 유지할 수 있는가?
• RQ5 기존 시간 시리즈 모델과 비교해 볼 때, 이 모델의 노이즈 필터링 능력과 지연 역학 포착 능력은 불확실성 전파 측면에서 어떻게 다른가?

주요 결과

• LSTM 모델은 순수하게 노이즈가 섞인 관측치로부터 Mackey-Glass 및 Ikeda 혼돈 시스템의 진정한 노이즈 없는 역학을 성공적으로 예측하며, 최대 500단계의 장기 예측 동안 참값이 항상 95% 신뢰구간 내에 존재한다.
• 표준편차로 측정된 예측 불확실성은 시간이 지남에 따라 단순히 증가하지 않으며, 오히려 혼돈 시스템의 국소적 역학에 따라 동적으로 증가하거나 감소한다.
• Mackey-Glass 시스템의 경우, 예측된 표준편차는 첫 90개 시간 단계 동안 노이즈 수준을 유지하다가 점차 증가하며, 95% 신뢰구간은 항상 참 궤적을 포함한다.
• Ikeda 시스템의 경우, 불확실성은 약 120개 시간 단계 후(t = 6) 급격히 증가하여 결국趋포화되며, 95% 신뢰구간은 관측값의 거의 전체 범위를 커버한다. 이는 장기 예측 가능성에 제한이 있음을 시사한다.
• Ikeda 시스템에서 모델은 노이즈 표준편차의 약 30% 수준의 예측 오차($ \text{RMSE} = 0.302 \times sd[\boldsymbol{\nu}] $) 를 달성하여 노이즈에 대해 매우 강건함을 보여준다.
• Mackey-Glass 시스템의 경우 17δt, Ikeda 시스템의 경우 20δt의 지연 상태를 기억하고 활용할 수 있다는 점은, 이 모델이 혼돈 시스템 내 다중스케일 시간 의존성을 효과적으로 학습하고 활용할 수 있음을 확인한다.