[논문 리뷰] Imposing Sparsity Within Ensemble Kalman Inversion

Tapio Schneider, Andrew M. Stuart외 1명|arXiv (Cornell University)|2020. 07. 13.

Meteorological Phenomena and Simulations참고 문헌 3인용 수 12

한 줄 요약

이 논문은 시간 평균 통계를 사용하여 미분 방정식의 벡터장을 탐색하는 데에 앙상블 칼만 역행렬(ensemble Kalman inversion, EKI)을 활용한 희소 학습 방법을 제안한다. 이는 시간 도함수가 필요로 하는 것을 회피함으로써, 노이즈가 있거나 비가역적인 데이터에서도 효과적으로 작동한다. 비선형 역문제로 공식화된 문제는 반복적이고 2차 최적화 방법을 통해 해결 가능하며, 이로 인해 노이즈가 있거나 비가역적인 데이터에서도 ODE, SDE, PDE의 데이터 기반 탐색이 강력하게 가능해진다. 루엔츠 63, 루엔츠 96, 응집, 쿠라모토-시바시니 방정식에서 성공을 거두었다.

ABSTRACT

Enforcing sparse structure within learning has led to significant advances in the field of pure data-driven discovery of dynamical systems. However, such methods require access not only to time-series of the state of the dynamical system, but also the time derivative. This poses problems when dealing with data polluted by noise, or when learning stochastic systems with non-differentiable solutions. To overcome such limitations we propose a sparse learning methodology to discover the vector fields defining a (possibly stochastic or partial) differential equation, using time-averaged statistics derived from time-series data. Such a formulation of sparse learning naturally leads to a nonlinear inverse problem to which we apply the methodology of ensemble Kalman inversion (EKI). EKI is chosen because it may be formulated in terms of the iterative solution of quadratic optimization problems; sparsity is then easily imposed. We then apply the EKI-based sparse learning methodology to various examples governed by stochastic differential equations (a noisy Lorenz 63 system), ordinary differential equations (Lorenz 96 system and coalescence equations), and a partial differential equation (the Kuramoto-Sivashinsky equation). The results demonstrate that data-driven discovery of differential equations can be achieved using sparse EKI with time-averaged statistics. The proposed sparse learning methodology extends the scope of pure data-driven discovery of differential equations to previously challenging applications and data-acquisition scenarios. Furthermore, although we apply the method in the context of learning dynamical systems, the EKI-based sparse methodology may be more widely applied within nonlinear inverse problems generally.

연구 동기 및 목표

• 기존의 희소 학습 방법이 시간 도함수를 요구하는 한계를 해결하기 위해, 노이즈가 있거나 확률적인 시스템에서는 시간 도함수가 자주 확보되지 않거나 신뢰할 수 없기 때문이다.
• 시간 시리즈 데이터에서 유도된 시간 평균 통계 자료만을 사용하여 ODE, SDE, PDE로 제어되는 동역학 시스템의 데이터 기반 탐색을 가능하게 하기 위해.
• 비선형 시스템에 적합한 강력한 역문제 프레임워크를 개발하여, 앙상블 칼만 역행렬(EKI) 프레임워크 내에서 희소성 제약 조건을 통합하기 위해.
• 노이즈가 많거나 비가역적인 시스템과 같은 도전적인 데이터 수집 환경으로까지 순수 데이터 기반 탐색의 적용 범위를 확장하기 위해.

제안 방법

• 시간 도함수가 아닌 시간 평균 통계를 사용하여 벡터장 탐색 문제를 비선형 역문제로 공식화하기.
• 시간 도함수가 없는 경우에도 반복적으로 2차 최적화 목표를 최소화함으로써 EKI를 적용하여 역문제를 해결하기.
• EKI 프레임워크 내에서 Tikhonov 정규화 또는 ℓ1-노름 페널티를 통해 식별된 벡터장 계수에 희소성 적용하기.
• 고차원 매개변수 공간에서 스케일이 잘 되고 도함수를 요구하지 않는 최적화를 가능하게 하기 위해 헤시안과 기울기의 앙상블 기반 근사 사용하기.
• 시간 시리즈 데이터로부터 시간 평균 통계를 구성하여 동역학을 표현함으로써 노이즈에 강건하고 비가역적 해에도 강건한 성능 확보하기.
• 희소성 제약 조건을 직접 EKI 업데이트 식에 통합하여 기반 동역학 방정식의 간결한 모델을 촉진하기.

실험 결과

연구 질문

• RQ1 노이즈 또는 비가역성으로 인해 시간 도함수가 확보되지 않을 경우, 희소 학습이 효과적으로 미분 방정식을 탐지하는 데에 적용될 수 있는가?
• RQ2 확률적 및 결정론적 동역학 시스템에서 시간 평균 통계를 기반으로 한 EKI 기반의 희소 학습이 벡터장을 얼마나 잘 식별하는가?
• RQ3 제안된 방법이 ODE, SDE, PDE와 같은 다양한 유형의 미분 방정식에 얼마나 일반화되는가?
• RQ4 EKI 프레임워크 내에서 희소성 제약 조건을 효과적으로 적용하여 복잡한 동역학의 이해 가능하고 정확한 모델을 도출할 수 있는가?

주요 결과

• 노이즈가 있는 루엔츠 63 시스템의 기저 벡터장을 시간 평균 통계만을 사용하여 성공적으로 탐지하였으며, 노이즈가 있는 데이터에서도 정확한 재구성 성능를 달성하였다.
• 루엔츠 96 시스템과 응집 방정식의 경우, 시간 평균 데이터를 사용하여 EKI 기반의 희소 학습 방법이 높은 정밀도로 정확한 동역학적 구조를 회복하였다.
• 쿠라모토-시바시니 PDE의 지배 동역학을 시간 평균 통계에서 정확하게 식별하였으며, 이는 편미분 방정식에의 적용 가능성을 입증하였다.
• EKI 내부에 희소성 제약 조건을 통합함으로써 모델의 이해 가능성 향상과 과적합 감소 효과를 얻었으며, 특히 고노이즈 환경에서 뚜렷한 성과를 보였다.
• 손상되거나 비가역적인 시간 시리즈 데이터가 존재하는 상황에서 기존의 도함수 기반 희소 학습보다 본 방법이 더 뛰어난 성능을 보였다.
• 이 프레임워크는 동역학 시스템을 초월하여, 희소성 제약 조건이 있는 다른 비선형 역문제 해결에도 일반화 가능하며 실용적인 접근법을 제공한다.