[논문 리뷰] Ensemble Kalman Inversion for Sparse Learning of Dynamical Systems from Time-Averaged Data

Tapio Schneider, Andrew M. Stuart외 1명|arXiv (Cornell University)|2020. 07. 13.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 시간 평균 통계(예: 모멘트, 자기상관)를 직접적인 시계열 또는 도함수 데이터 대신 사용하여 동역학 시스템의 지배 벡터장 발견을 위한 스퍼스 학습 프레임워크를 제안한다. 비선형 역문제로 문제를 공식화하고 EKI의 이차 최적화 프레임워크를 통해 스퍼스리티를 강제함으로써, 이 방법은 노이즈가 많고 불완전한 간접 데이터에서 고정밀도와 높은 내성으로 확률적, 상미분, 편미분 방정식에 대해 진정한 동역학 모델을 성공적으로 복원한다.

ABSTRACT

Enforcing sparse structure within learning has led to significant advances in the field of data-driven discovery of dynamical systems. However, such methods require access not only to time-series of the state of the dynamical system, but also to the time derivative. In many applications, the data are available only in the form of time-averages such as moments and autocorrelation functions. We propose a sparse learning methodology to discover the vector fields defining a (possibly stochastic or partial) differential equation, using only time-averaged statistics. Such a formulation of sparse learning naturally leads to a nonlinear inverse problem to which we apply the methodology of ensemble Kalman inversion (EKI). EKI is chosen because it may be formulated in terms of the iterative solution of quadratic optimization problems; sparsity is then easily imposed. We then apply the EKI-based sparse learning methodology to various examples governed by stochastic differential equations (a noisy Lorenz 63 system), ordinary differential equations (Lorenz 96 system and coalescence equations), and a partial differential equation (the Kuramoto-Sivashinsky equation). The results demonstrate that time-averaged statistics can be used for data-driven discovery of differential equations using sparse EKI. The proposed sparse learning methodology extends the scope of data-driven discovery of differential equations to previously challenging applications and data-acquisition scenarios.

연구 동기 및 목표

• 오직 시간 평균 통계(예: 모멘트, 자기상관)만 제공될 때 동역학 시스템의 지배 방정식을 학습하는 데 도전하는 것.
• 시간 도함수 데이터가 필요로 하는 전통적인 스퍼스 학습 방법의 한계를 극복하는 것—이러한 데이터는 종종 노이즈가 많거나 확보하기 어려운 경우가 있음.
• 비선형 역문제의 해에서 스퍼스리티를 강제하는 강력한 도함수를 요구하지 않는 매개변수 식별 방법을 개발하는 것.
• 간접적, 비선형적, 부분 관측이 가능한 상황으로까지 데이터 기반 미분방정식 발견의 범위를 확장하는 것.
• 실제 세계의 데이터 제약 조건에서 진정한 동역학 모델을 회복하는 데 있어 스퍼스 EKI의 효과성을 입증하는 것.

제안 방법

• 시간 평균 통계를 간접 관측치로 사용하여 벡터장의 발견을 비선형 역문제로 공식화하는 방법.
• 집단 기반의 데이터 오차 최소화를 통해 반복적으로 역문제를 해결하기 위해 에너지 기반 칼만 필터링(Ensemble Kalman Inversion, EKI)을 적용하는 방법.
• ℓ₁-정규화를 EKI 프레임워크에 통합하여 스퍼스리티를 구현함으로써, 선형 부등식 제약 조건이 있는 이차 프로그래밍 문제의 시퀀스로 문제를 변환하는 방법.
• 이중 단계 프로세스를 사용: 첫 번째 단계에서 스퍼스 EKI가 활성 기저 함수를 식별하고, 두 번째 단계에서 축소된 기저에 대해 정밀한 EKI를 적용하여 정확도를 향상시키는 방법.
• 수치적 도함수 계산을 피하기 위해 모델 예측 시간 평균 통계를 경험적 데이터와 직접 매칭하는 방법.
• 이 방법은 일반적이며 스토케스틱, 상미분, 편미분 방정식 모두에 적용 가능하며, Lorenz 63, Lorenz 96, 응집, Kuramoto-Sivashinsky 방정식을 통해 검증됨.

실험 결과

연구 질문

• RQ1 전체 시계열 또는 도함수 데이터가 아닌 오직 시간 평균 데이터만 존재할 때 스퍼스 학습이 동역학 시스템 발견에 효과적으로 적용될 수 있는가?
• RQ2 비선형 매개변수-데이터 맵이 존재할 때, EKI와 같은 비선형 역문제 프레임워크에서 스퍼스리티를 자연스럽게 강제할 수 있는가?
• RQ3 간접적, 노이즈가 많은, 또는 부분 관측된 데이터에서 진정한 지배 방정식을 복원하는 데 있어 EKI 기반 스퍼스 학습이 표준 EKI 및 전통적 스퍼스 방법보다 뛰어난가?
• RQ4 데이터가 모멘트와 상관 함수에 국한되어 있을 때, 이 방법이 기저가 되는 벡터장의 정확한 스퍼스 구조를 어느 정도 회복할 수 있는가?
• RQ5 초기 스퍼스 식별 후 기저별 최적화를 수행하는 이중 단계 정밀화 프로세스가 매개변수 복원 정확도 향상에 필수적이고 효과적인가?

주요 결과

• 스퍼스 EKI 방법은 Kuramoto-Sivashinsky PDE의 진정한 지배 방정식을 성공적으로 복원하여, 두 번째 정밀화 단계에서 세 개의 비영 coefficients를 2.5% 이내 오차로 정확히 식별함.
• 모든 관련이 없는 기저 함수를 정확히 0으로 설정하여 정확한 스퍼스리티 복원을 달성함. 반면 표준 EKI는 모든 10개의 계수를 활성화한 비스퍼스 피팅을 생성함.
• 두 번째 단계 스퍼스 EKI는 모멘트, 자기상관, 공간 상관의 세 가지 유형의 시간 평균 통계 모두에서 경험적 데이터와 뛰어난 일치를 보임.
• 이 방법은 간접 관측에도 불구하고 노이즈가 있거나 시간 도함수 데이터가 없어도 모델 복원에 있어 강력성과 정확성을 입증함.
• 이 방법은 스토케스틱(Lorenz 63), ODE(Lorenz 96), PDE(Kuramoto-Sivashinsky) 동역학을 포함한 다양한 시스템에서 효과적이며, 광범위한 적용 가능성을 보임.
• 결과는 시간 평균 통계만으로도 정확하고 스퍼스적인 동역학 시스템 발견이 가능하며, 데이터 기반 모델링의 범위를 크게 확장할 수 있음을 확인함.