[논문 리뷰] Physics-Informed Long Short-Term Memory for Forecasting and Reconstruction of Chaos

Elise Özalp, Georgios Margazoglou외 1명|arXiv (Cornell University)|2023. 02. 03.

Neural Networks and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 혼돈 시스템의 측정되지 않은 변수를 재구성하고 예측하기 위해 통제 미분 방정식을 LSTM 학습에 통합한 물리 기반 장기 단기 기억망(PI-LSTM)을 소개한다. 시스템의 동역학에서 벗어나지 않도록 물리 기반 손실을 통해 페널티를 주어, PI-LSTM은 장기 통계와 리아프노프 지수를 정확히 포착한다. 이는 혼돈의 핵심 지표이며, 관측 수가 제한된 경우 특히 실패하는 데이터 기반 LSTM과는 대조적으로, 혼돈 행동을 재현하지 못함을 보여준다.

ABSTRACT

We present the Physics-Informed Long Short-Term Memory (PI-LSTM) network to reconstruct and predict the evolution of unmeasured variables in a chaotic system. The training is constrained by a regularization term, which penalizes solutions that violate the system's governing equations. The network is showcased on the Lorenz-96 model, a prototypical chaotic dynamical system, for a varying number of variables to reconstruct. First, we show the PI-LSTM architecture and explain how to constrain the differential equations, which is a non-trivial task in LSTMs. Second, the PI-LSTM is numerically evaluated in the long-term autonomous evolution to study its ergodic properties. We show that it correctly predicts the statistics of the unmeasured variables, which cannot be achieved without the physical constraint. Third, we compute the Lyapunov exponents of the network to infer the key stability properties of the chaotic system. For reconstruction purposes, adding the physics-informed loss qualitatively enhances the dynamical behaviour of the network, compared to a data-driven only training. This is quantified by the agreement of the Lyapunov exponents. This work opens up new opportunities for state reconstruction and learning of the dynamics of nonlinear systems.

연구 동기 및 목표

• 측정된 상태 관측치가 일부일 때 측정되지 않은 변수를 재구성하는 데 도전하는 것.
• 학습 과정에 물리 법칙을 통합하여 순환 신경망의 장기 예측 및 역학 일관성을 향상시키는 것.
• 물리 기반 정규화가 리아프노프 지수와 에르고딕 통계와 같은 기본 혼돈 성질을 유지하는 데 얼마나 기여하는지 평가하는 것.
• 데이터가 불완전하거나 희박할 때 물리 기반 제약 조건이 혼돈 동역학을 포착하는 데 필수적임을 보여주는 것.

제안 방법

• PI-LSTM 아키텍처는 표준 LSTM에 시스템의 통제 미분 방정식 위반을 페널티 주는 물리 기반 손실 항을 추가하여 확장한다.
• 백프로파게이션 스루 타임을 사용하여 은닉 상태와 셀 상태의 일阶 도함수를 계산하여 시스템의 동역학과의 일致성을 강제한다.
• 물리 기반 손실은 하이퍼파ram터 α_pi에 의해 가중되며, 학습 중 데이터 적합성과 물리 일치성 간의 균형을 조절한다.
• 방법은 3개의 양의 리아프노프 지수를 가진 대표적인 혼돈 시스템인 로렌츠-96 모델에서 평가된다. 관측되지 않은 변수의 수를 다양하게 설정하여 실험한다.
• 통계 일관성과 역학적 행동 평가를 위해 최대 1000 라이아프노프 시간 동안 장기 자율 시뮬레이션을 수행한다.
• 학습된 PI-LSTM에서 리아프노프 지수를 계산하여 혼돈 동역학의 유지 여부를 검증하고, 진짜 시스템의 기준 값과 비교한다.

Figure 3 : Statistics reconstruction of unmeasured variables. Comparison of the target (black line), PI-LSTM (red dashed line) and data-driven LSTM (blue line) probability density functions (PDF) of (i) $N_{\xi}=1$ , (ii) $N_{\xi}=3$ , (iii) $N_{\xi}=5$ unmeasured variables over a $1000\tau_{\lambda

실험 결과

연구 질문

• RQ1 물리 기반 LSTM은 부분 관측만으로도 혼돈 시스템의 전체 상태를 그 내재된 역학적 성질을 유지하면서 재구성할 수 있는가?
• RQ2 물리 기반 정규화를 포함할 경우, 순수 데이터 기반 접근법과 비교해 LSTM의 장기 통계적 행동은 어떻게 변화하는가?
• RQ3 관측된 변수의 일부만 있을 때 PI-LSTM이 혼돈 시스템의 리아프노프 지수를 얼마나 정확히 재현할 수 있는가?
• RQ4 관측되지 않은 변수의 수가 PI-LSTM의 재구성 정확도와 역학 충실도에 어떤 영향을 미치는가?
• RQ5 물리 기반 손실은 데이터 기반 모델에서 흔히 발생하는 유사 고정점 해로 수렴하는 것을 방지하는가?

주요 결과

• PI-LSTM은 1000 라이아프노프 시간 동안 측정되지 않은 변수의 확률 밀도 함수를 정확히 재구성하지만, 데이터 기반 LSTM은 특히 관측되지 않은 변수가 많을수록 고정점 해로 붕괴된다.
• 관측되지 않은 변수가 하나일 경우, PI-LSTM은 주요 리아프노프 지수에서 오직 0.28%의 오차를 기록하여 혼돈 동역학을 매우 정확히 포착함을 보여준다.
• 세 개의 관측되지 않은 변수가 있을 경우, PI-LSTM은 주요 리아프노프 지수에서 8%의 오차를 기록하여 복잡도 증가에도 불구하고 뛰어난 강건성을 보인다.
• 다섯 개의 관측되지 않은 변수가 있을 경우, PI-LSTM는 여전히 주요 리아프노프 지수에서 11.6%의 오차를 유지하여 정보 부족 상황에서도 성능 저하가 있지만, 데이터 기반 기준선보다는 훨씬 우수하다.
• 데이터 기반 LSTM은 세 개와 다섯 개의 관측되지 않은 변수가 있을 경우 모두 주요 리아프노프 지수를 음수로 도출하여 혼돈 행동을 완전히 재현하지 못하고 고정점으로 수렴함을 보여, 실패를 보인다.
• PI-LSTM는 관측 데이터가 제한된 상황에서도 양의 리아프노프 지수와 에르고딕 통계를 유지하여 시스템의 혼돈 성격을 성공적으로 유지한다.

Figure 4 : Comparison of the target (black squares), PI-LSTM (red dots) and data-driven LSTM (blue dots) LEs for (i) $N_{\xi}=1$ , (ii) $N_{\xi}=3$ , (iii) $N_{\xi}=5$ unmeasured variables. All the vertical axes are in logarithmic scale.