[논문 리뷰] Variational Deep Learning for the Identification and Reconstruction of Chaotic and Stochastic Dynamical Systems from Noisy and Partial Observations

Duong Nguyen, Said Ouala외 2명|arXiv (Cornell University)|2020. 09. 04.

Model Reduction and Neural Networks참고 문헌 54인용 수 7

한 줄 요약

이 논문은 노이즈가 많고 부분적인 관측 자료로부터 혼돈적이고 확률적인 동역학 시스템의 통합된 상태 재구성과 지배 방정식 규명을 위한 변분 딥 러닝 프레임워크를 제안한다. 베이지안 데이터 융합과 딥 뉴럴 네트워크를 통합함으로써, 특히 변분 추론과 n단계 향후 예측을 활용하여 엔드 투 엔드 학습을 가능하게 하여, 낮은 차원의 애트랙터 재구성과 고노이즈(19.4%) 및 부분적 관측 조건에서도 확률적 역학을 잘 포착하는 데서 최신 기법들을 능가한다.

ABSTRACT

The data-driven recovery of the unknown governing equations of dynamical systems has recently received an increasing interest. However, the identification of governing equations remains challenging when dealing with noisy and partial observations. Here, we address this challenge and investigate variational deep learning schemes. Within the proposed framework, we jointly learn an inference model to reconstruct the true states of the system and the governing laws of these states from series of noisy and partial data. In doing so, this framework bridges classical data assimilation and state-of-the-art machine learning techniques. We also demonstrate that it generalises state-of-the-art methods. Importantly, both the inference model and the governing model embed stochastic components to account for stochastic variabilities, model errors, and reconstruction uncertainties. Various experiments on chaotic and stochastic dynamical systems support the relevance of our scheme w.r.t. state-of-the-art approaches.

연구 동기 및 목표

• 실제 응용 분야인 기후 및 해양 모델링 등에서 흔히 발생하는 노이즈가 많고 불완전한 관측 자료 상황에서 동역학 시스템의 지배 방정식 규명 문제를 해결하기 위해.
• 문제를 변분 추론 프레임워크 내에 정식화하여 전통적인 데이터 융합 기법과 현대 딥 러닝을 연결하기 위해.
• 모델 불확실성과 확률적 변동성을 고려하여 잠재 상태 재구성과 역학 모델 학습을 동시에 엔드 투 엔드로 가능하게 하기 위해.
• 기존의 학습 기반 기법을 일반화하기 위해 추론 모델과 역학 모델 양쪽에 확률적 성분을 통합하여 실제 데이터의 완벽하지 않은 특성을 다룰 수 있도록 하기 위해.
• 고차원적이고 노이즈가 많은 관측 자료로부터 낮은 차원의 애트랙터와 역학적 특성(예: 리아프노프 지수)을 얼마나 잘 복원할 수 있는지 검증하기 위해.

제안 방법

• 프레임워크는 변분 추론을 사용하여 진짜 시스템 상태를 재구성하는 추론 모델과 시간 시리즈 관측 자료로부터 지배 방정식을 규명하는 역학 모델을 동시에 학습한다.
• 문제를 확률적 전이 분포를 갖는 상태공간 모델로 정식화하여, 역학 사전확률과 추론 과정 양쪽에서 불확실성 정량화를 가능하게 한다.
• 노이즈가 많고 부분적인 관측 자료의 순차적 의존성을 포착하기 위해 추론 모델은 LSTM 기반 신경망으로 구현된다.
• 일반화 성능 향상과 완벽하지 않은 데이터에서의 과적합 방지를 위해 n단계 향후 예측을 정규화 전략으로 통합한다.
• 관측 모델은 저차원 역학을 고차원이고 노이즈가 많은 관측 자료로 매핑하는 가속화 가능한 비선형 관측 연산자(MLP로 파arameterized)를 포함한다.
• 전체 아키텍처는 확률적 경사 하강 변분 베이즈(SGVB)를 사용하여 엔드 투 엔드로 훈련되며, 상태 재구성과 방정식 발견을 동시에 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 노이즈가 많고 부분적인 관측 자료로부터 잠재 상태를 동시에 재구성하고 지배 방정식을 규명할 수 있는가?
• RQ2 추론 모델과 역학 모델 양쪽에 확률적 성분을 통합함으로써 노이즈와 모델 오차에 대한 강건성이 어떻게 향상되는가?
• RQ3 변분 추론과 n단계 향후 예측이 불완전한 데이터에서 과적합을 방지하고 학습 과정을 어떻게 정규화하는가?
• RQ4 이 프레임워크는 저차원 시스템의 고차원적이고 노이즈가 많은 관측 자료로부터 낮은 차원의 애트랙터와 동역학적 특성(예: 리아프노프 지수)을 복원할 수 있는가?
• RQ5 고노이즈 및 부분적 관측 조건 하에서 최신 기법들과 비교해 볼 때, 제안된 방법은 어떤 식으로 역학 규명 성능에서 뛰어나게 되는가?

주요 결과

• 제안된 프레임워크는 19.4% 노이즈 수준을 가진 128차원의 노이즈가 많은 레지오르드 계수 관측 자료로부터 로렌츠-63 시스템의 낮은 차원 애트랙터를 성공적으로 재구성하였다.
• 학습된 모델의 첫 번째 리아프노프 지수는 λ₁ = 0.92로, 진짜 값인 0.91과 매우 유사하여 혼돈적 역학을 정확히 포착한 것으로 나타났다.
• 모델 불확실성 정량화 기능을 갖춘 엔드 투 엔드 학습을 가능하게 함으로써 최신 기법을 초월하였으며, 노이즈가 많은 데이터에서 비확률적 및 비변분 기반 기준 모델보다 뛰어난 성능을 보였다.
• 프레임워크는 동역학 시스템의 확률적 특성을 포착하여, 결정론적 모델이 실패하는 상황에서도 강건성을 입증하였다.
• LSTM 기반 추론 네트워크가 기존의 데이터 융합 기법(예: 엔semble 칼만 스무스터)보다 부분적이고 노이즈가 많은 자료로부터 역학을 재구성하는 데서 뛰어난 성능을 보였다.
• n단계 향후 예측과 변분 추론의 통합은 과적합을 감소시키고 불완전한 데이터셋에서의 일반화 성능을 향상시키는 효과적인 정규화 전략으로 작용하였다.