[논문 리뷰] EM-like Learning Chaotic Dynamics from Noisy and Partial Observations

Duong Nguyen, Said Ouala외 2명|arXiv (Cornell University)|2019. 03. 25.

Neural Networks and Applications참고 문헌 31인용 수 24

한 줄 요약

이 논문은 신경 미분방정식(neural ODEs)과 자료 융합(data assimilation)을 결합한 EM-유사 학습 프레임워크를 제안하여 잡음이 많고 부분적이며 비정규적인 관측에서 난류 역학을 추론한다. 숨겨진 상태와 모델 파라미터의 동시 추론을 베이지안 문제로 간주함으로써, 루엔조-63 시스템에서 도전적인 조건에서도 기존의 기계학습 방법보다 진정한 역학과 리아프노프 지수를 더 잘 복원함을 입증하였다.

ABSTRACT

The identification of the governing equations of chaotic dynamical systems from data has recently emerged as a hot topic. While the seminal work by Brunton et al. reported proof-of-concepts for idealized observation setting for fully-observed systems, {\em i.e.} large signal-to-noise ratios and high-frequency sampling of all system variables, we here address the learning of data-driven representations of chaotic dynamics for partially-observed systems, including significant noise patterns and possibly lower and irregular sampling setting. Instead of considering training losses based on short-term prediction error like state-of-the-art learning-based schemes, we adopt a Bayesian formulation and state this issue as a data assimilation problem with unknown model parameters. To solve for the joint inference of the hidden dynamics and of model parameters, we combine neural-network representations and state-of-the-art assimilation schemes. Using iterative Expectation-Maximization (EM)-like procedures, the key feature of the proposed inference schemes is the derivation of the posterior of the hidden dynamics. Using a neural-network-based Ordinary Differential Equation (ODE) representation of these dynamics, we investigate two strategies: their combination to Ensemble Kalman Smoothers and Long Short-Term Memory (LSTM)-based variational approximations of the posterior. Through numerical experiments on the Lorenz-63 system with different noise and time sampling settings, we demonstrate the ability of the proposed schemes to recover and reproduce the hidden chaotic dynamics, including their Lyapunov characteristic exponents, when classic machine learning approaches fail.

연구 동기 및 목표

• 잡음이 많고 부분적이며 비정규적으로 샘플링된 관측에서 난류 역학계를 학습하는 데 있어 표준 기계학습 방법이 실패하는 과제를 해결하기 위해.
• 숨겨진 상태와 알려지지 않은 역학 모델 파라미터를 동시에 추정하는 베이지안 추론 프레임워크를 개발하기 위해.
• 딥러닝에서 단기 예측 오차 최소화의 한계를 극복하기 위해 상태공간 모델링과 자료 융합을 통합하기 위해.
• 현실적인 관측 제약 조건 하에서 리아프노프 지수와 같은 난류 시스템의 주요 특성을 정확하게 복원할 수 있도록 하기 위해.
• 현대 딥러닝(neural ODEs)과 고전적 자료 융합(Ensemble Kalman Smoothers, 변분 추론)을 통합하여 강건성을 향상시키기 위해.

제안 방법

• 관측 잡음과 부분적 샘플링을 마스킹 연산자로 처리함으로써, 알려지지 않은 역학을 신경 미분방정식이 지배하는 베이지안 상태공간 모델로 문제를 수립한다.
• 숨겨진 상태의 사후분포와 모델 파rameter를 번갈아가며 추론하기 위해 반복적인 기대값-최대화(EM) 유사 절차를 사용한다.
• 신경망을 사용하여 미분방정식 dx/dt = F(x) + η의 알려지지 않은 동역학 함수 F를 매개변수화한다.
• 두 가지 추론 기법을 적용한다: (1) 신경 미분방정식과 함께 사용하는 Ensemble Kalman Smoother(EnKS), 및 (2) 사후분포 근사에 사용하는 LSTM 기반 변분 추론(VODEN).
• 부분적이고 잡음이 많은 관측에 기반해 전체 숨겨진 상태의 사후분포를 추정하기 위해 상태공간 스무딩을 구현한다.
• E단계에서는 숨겨진 상태의 사후분포를 계산하고, M단계에서는 경사하강법을 통해 신경 미분방정식 파rameter를 업데이트하는 반복 최적화에 의존한다.

실험 결과

연구 질문

• RQ1 관측이 잡음이 많고 불완전할 경우, 베이지안 EM-유사 프레임워크가 난류 역학을 효과적으로 학습할 수 있는가?
• RQ2 부분적이고 잡음이 많은 관측 조건에서, 단기 예측 오차 최소화를 목표로 하는 표준 딥러닝 접근법과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?
• RQ3 제한된 데이터와 손상된 데이터에서 리아프노프 지수와 같은 주요 역학적 특성을 얼마나 정확하게 복원할 수 있는가?
• RQ4 신경 미분방정식과 자료 융합 기법을 융합함으로써, 비정규적인 샘플링과 높은 잡음 수준에 대한 강건성이 향상되는가?
• RQ5 LSTM 기반 변분 추론(VODEN) 또는 EnKS 기반 스무딩이 직접 예측 오차 최소화보다 더 정확한 사후분포 추정을 제공하는가?

주요 결과

• 제안된 EnKS-EM 및 VODEN 방법은 고잡음(σ² = 32)과 부분적 관측 조건에서도 루엔조-63 시스템의 진짜 난류 애트랙터를 성공적으로 복원하였다.
• 모든 테스트된 잡음 및 샘플링 조건에서 가장 큰 리아프노프 지수(λ₁ ≈ 0.89)를 5% 이내의 오차로 정확히 재구성하였다.
• 부분적 관측 시나리오 1에서, EnKS-EM_S1은 t₀ + h에서 상태 오차 0.075, t₀ + 4h에서 0.115를 기록하여 기준 방법을 능가하였다.
• 비정규적인 샘플링이 있는 시나리오 2에서는, VODEN_S2가 t₀ + h에서 상태 오차 0.115, t₀ + 4h에서 0.317를 기록하여 비정규성에 대한 강건성을 입증하였다.
• 표준 기계학습 방법이 잡음이 많거나 불완전한 데이터에 과적합되는 동안, 이 방법들은 진정한 역학적 행동과 리아프노프 지수를 복원하였다.
• 어떤 상태 성분이 관측되지 않더라도 숨겨진 역학을 정확하게 추론할 수 있어, 불완전한 센서 데이터에서의 학습 잠재력이 있음을 시사한다.