[논문 리뷰] DAN - An optimal Data Assimilation framework based on machine learning Recurrent Networks.

Pierre Boudier, Anthony Fillion외 2명|arXiv (Cornell University)|2020. 10. 19.

Meteorological Phenomena and Simulations참고 문헌 21인용 수 4

한 줄 요약

이 논문은 잡음이 있는 관측치로부터 동역학 시스템의 상태를 최적으로 재구성하고 예측하기 위해 순환 신경망과 자료 통합 원리를 융합한 딥러닝 프레임워크인 DAN을 제안한다. 궤적 샘플에 기반하여 훈련된 DAN은 이론적으로 전통적인 자료 통합 방법과 동일한 성능을 보이며, 완전히 데이터 기반의 방식으로 확률 밀도 함수의 분석 및 전파를 정확히 모델링한다.

ABSTRACT

Data assimilation algorithms aim at forecasting the state of a dynamical system by combining a mathematical representation of the system with noisy observations thereof. We propose a fully data driven deep learning architecture generalizing recurrent Elman networks and data assimilation algorithms which provably reaches the same prediction goals as the latter. On numerical experiments based on the well-known Lorenz system and when suitably trained using snapshots of the system trajectory (i.e. batches of state trajectories) and observations, our architecture successfully reconstructs both the analysis and the propagation of probability density functions of the system state at a given time conditioned to past observations.

연구 동기 및 목표

• 완전히 데이터 기반인 딥러닝 아키텍처를 개발하여 순환망과 자료 통합 알고리즘을 모두 일반화한다.
• 명시적인 시스템 모델에 의존하지 않고도 전통적인 자료 통합 방법과 동일한 예측 정확도를 달성한다.
• 종합적 훈련을 통해 과거 관측치를 조건으로 삼아 시스템 상태의 확률 밀도 함수를 재구성한다.
• 비선형 동역학 시스템에서 상태 불확실성의 분석 및 전파를 모델링할 수 있는 프레임워크의 능력을 입증한다.

제안 방법

• 시계열 관측치와 상태 궤적을 처리할 수 있도록 수정된 순환 엘먼 네트워크 아키텍처를 기반으로 한 프레임워크이다.
• 훈련 데이터로 상태 궤적의 배치를 사용하여 관측치에서 사후 상태 분포로의 매핑을 학습한다.
• 최적 자료 통합 원칙과의 일致성을 강제하는 손실 함수를 최소화하도록 네트워크를 훈련한다.
• 메모리 메커니즘을 통합하여 시간 단계 간에 불확실성 정보를 전파함으로써 자료 통합의 분석 및 예측 주기와 유사하게 작동한다.
• 궤적 데이터의 시간적 의존성을 활용하여 시스템의 동역학 및 관측 노이즈 특성을 학습한다.
• 이론적으로 네트워크의 예측이 고전적 자료 통합 알고리즘과 동일한 최적 해에 수렴한다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 트레이젝터리 샘플에 기반해 훈련된 딥러닝 아키텍처가 기존 자료 통합 방법의 최적 성능을 재현할 수 있는가?
• RQ2 궤적 샘플에 기반해 훈련된 순환 신경망이 과거 관측치를 조건으로 삼아 전체 시스템 상태의 확률 밀도 함수를 얼마나 정확히 재구성할 수 있는가?
• RQ3 순수하게 데이터 기반인 접근 방식이 비선형 동역학 시스템에서 모델 기반 자료 통합을 능가하거나 동등하게 성능을 내는 데까지 어느 정도까지 가능한가?
• RQ4 순환 신경망이 자료 통합의 정확한 분석 및 예측 단계를 학습할 수 있도록 하기 위해 필요한 아키텍처 수정 사항은 무엇인가?
• RQ5 네트워크가 불확실성 전파를 모델링하는 능력이 최적 추정 이론에서 이론적으로 예상하는 바와 일치하는가?

주요 결과

• DAN 프레임워크는 과거 관측치를 조건으로 삼아 시스템 상태의 분석 및 전파를 성공적으로 재구성한다.
• 궤적 샘플과 관측 데이터에 기반해 훈련된 네트워크는 최적 자료 통합 알고리즘과 비교해 유사한 성능을 달성한다.
• 아키텍처는 자료 통합의 수학적 구조를 학습 과정에 통합함으로써 순환 엘먼 네트워크를 일반화한다.
• 로렌츠 시스템에서의 검증을 통해 비선형 역학을 모델링하는 데 있어 뛰어난 강건성을 보였다.
• 이론적 분석을 통해 네트워크의 예측이 고전적 자료 통합 알고리즘과 동일한 최적 해에 수렴한다는 것이 확인되었다.
• 이 방법은 시스템의 지배 방정식에 대한 명시적 지식 없이도 상태 추정 및 불확실성 전파의 엔드 투 엔드 학습을 가능하게 한다.