[논문 리뷰] Kernel Learning for Robust Dynamic Mode Decomposition: Linear and Nonlinear Disambiguation Optimization (LANDO)

Peter J. Baddoo, Benjamín Herrmann외 2명|arXiv (Cornell University)|2021. 06. 02.

Model Reduction and Neural Networks참고 문헌 125인용 수 5

한 줄 요약

이 논문은 고차원 시스템에서 선형 및 비선형 역학을 분리하여 다루는 커널 학습 방법인 LANDO를 소개한다. 이 방법은 영향력 있는 데이터 샘플의 사전(dictionary)에 대해 희소 커널 회귀를 수행함으로써 이루어지며, 강한 비선형성과 노이즈가 존재하는 상황에서도 강건하고 해석 가능한 동적 모드 분해(DMD)를 가능하게 한다. 정확하게 局소 선형 모델과 지배 역학을 복원할 수 있다.

ABSTRACT

Research in modern data-driven dynamical systems is typically focused on the three key challenges of high dimensionality, unknown dynamics, and nonlinearity. The dynamic mode decomposition (DMD) has emerged as a cornerstone for modeling high-dimensional systems from data. However, the quality of the linear DMD model is known to be fragile with respect to strong nonlinearity, which contaminates the model estimate. In contrast, sparse identification of nonlinear dynamics (SINDy) learns fully nonlinear models, disambiguating the linear and nonlinear effects, but is restricted to low-dimensional systems. In this work, we present a kernel method that learns interpretable data-driven models for high-dimensional, nonlinear systems. Our method performs kernel regression on a sparse dictionary of samples that appreciably contribute to the underlying dynamics. We show that this kernel method efficiently handles high-dimensional data and is flexible enough to incorporate partial knowledge of system physics. It is possible to accurately recover the linear model contribution with this approach, disambiguating the effects of the implicitly defined nonlinear terms, resulting in a DMD-like model that is robust to strongly nonlinear dynamics. We demonstrate our approach on data from a wide range of nonlinear ordinary and partial differential equations that arise in the physical sciences. This framework can be used for many practical engineering tasks such as model order reduction, diagnostics, prediction, control, and discovery of governing laws.

연구 동기 및 목표

• 강한 비선형성 하에서 표준 동적 모드 분해(DMD)의 취약성을 해결하라. 이 경우 비선형 효과가 선형 모델 추정을 왜곡한다.
• 고차원 시스템에서 성능이 떨어지는 희소 비선형 역학 식별(SINDy)의 확장성 한계를 극복하라.
• 데이터 기반 방법을 개발하여 해석 가능한 국소 선형 모델을 학습하고, 역학에서 선형 및 비선형 기여를 명시적으로 분리하라.
• 역학이 F(x) = Lx + N(x)로 지배되는 시스템에서 진짜 선형 연산자 L을 정확히 복원할 수 있도록 하라. 이 때 N(x)는 강하게 비선형적일 수 있다.
• 상태 측정값 X에 대한 노이즈에 강건하면서도, 고차원 물리 시스템에서의 해석 가능성과 계산 효율성을 유지하라.

제안 방법

• 기본 역학에 가장 기여하는 데이터 포인트의 희소 사전에 커널 회귀를 적용하며, 데이터를 고차원 특성 공간으로 매핑하는 커널 함수를 사용한다.
• 계산 비용을 줄이고 일반화 성능을 향상시키기 위해 최소한의 대표 샘플 집합을 사전으로 선별하는 희소화 전략을 사용한다.
• 학습 문제를 커널 리지 회귀 손실 최소화로 공식화한다: ||W k(X̃, X) - Y||_F² + λ||W||², 여기서 W는 가중치 행렬이고 k는 커널 함수이다.
• 커널 전개에서 선형 항의 기여를 분리함으로써 학습된 모델을 선형 및 비선형 구성요소로 분해함으로써 L과 N(x)의 구분을 가능하게 한다.
• 사전 또는 커널 구조에 부분적인 물리적 지식을 통합하여 해석 가능성과 정확성을 향상시킨다.
• 데이터가 노이즈가 있을 경우 도함수 추정에 총 변동성 정규화를 사용하여 ẋ의 안정적이고 정확한 계산을 보장하며, 명시적 노이즈 제거 없이도 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 DMD가 실패하는 고차원 비선형 동역학계에서 커널 기반 방법이 선형 및 비선형 기여를 효과적으로 분리할 수 있는가?
• RQ2 제안된 커널 학습 프레임워크는 상태 측정값 X의 노이즈에 대해 강건하면서도 선형 모델의 해석 가능성을 유지할 수 있는가?
• RQ3 강한 비선형성과 측정 노이즈가 존재하는 상황에서 진짜 선형 연산자 L과 역학 스펙트럼을 어느 정도 정확히 복원할 수 있는가?
• RQ4 사전의 희소성은 고차원 시스템에서 모델의 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 부분적인 물리적 지식을 통합하여 모델의 정밀도를 향상시키고 데이터 요구량을 줄일 수 있는가?

주요 결과

• Lorenz 시스템에서 LANDO 방법은 5% 가우시안 노이즈가 있는 데이터에서도 진짜 선형 역학 L을 정확히 복원하며, 평균 상태에서 국소 선형 모델을 정확히 재구성한다.
• Viscous Burgers 방정식의 경우, 작은 노이즈 하에서 20회의 시행 동안 첫 세 개의 고유값을 정확히 복원하지만, 더 큰 고유값일수록 민감도가 증가한다.
• Lorenz 시스템 사례에서 총 변동성 정규화를 사용할 경우 도함수 측정값 ẋ에 대한 노이즈에 강건함을 입증하였다.
• 상태 데이터 X의 노이즈에 대해 중간 정도의 민감도를 보이며, 특히 희소화 파라미터가 잘못 선택된 경우 사전 오염 가능성이 있기 때문이다.
• X의 노이즈는 사전 선별과 회귀 오차를 통해 커널 회귀에 영향을 미치며, Y의 노이즈에 대해 비편향이지만, 추가 전처리 없이 변수 오차(instrumental variables) 문제에 취약하다.
• 비선형 영역에서 표준 DMD보다 프레임워크가 우수한 성능을 보이며, 선형 및 비선형 항을 명시적으로 분리함으로써 더 정확하고 해석 가능한 모델을 제공한다.