[논문 리뷰] GN-SINDy: Greedy Sampling Neural Network in Sparse Identification of Nonlinear Partial Differential Equations

Ali Forootani, Kapadia, Harshit외 3명|arXiv (Cornell University)|2024. 05. 14.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 근사적인 샘플링 전략과 깊은 신경망(DNNs) 및 희소 식별(SINDy)을 통합한 새로운 방법인 GN-SINDy를 소개한다. 이는 비선형 편미분방정식(PDEs)을 더 높은 데이터 효율성과 정확도로 발견하는 데 기여한다. DEIM(이산 경험 보간법)을 사용해 유의미한 스냅샷을 선별하고, STRidge를 적용해 희소성 강화를 통해, GN-SINDy는 전체 데이터셋의 0.5–0.874%만으로도 정확도가 높은 PDE 발견을 달성하며, 이는 이전의 DeePyMoD와 같은 방법들을 능가한다.

ABSTRACT

The sparse identification of nonlinear dynamical systems (SINDy) is a data-driven technique employed for uncovering and representing the fundamental dynamics of intricate systems based on observational data. However, a primary obstacle in the discovery of models for nonlinear partial differential equations (PDEs) lies in addressing the challenges posed by the curse of dimensionality and large datasets. Consequently, the strategic selection of the most informative samples within a given dataset plays a crucial role in reducing computational costs and enhancing the effectiveness of SINDy-based algorithms. To this aim, we employ a greedy sampling approach to the snapshot matrix of a PDE to obtain its valuable samples, which are suitable to train a deep neural network (DNN) in a SINDy framework. SINDy based algorithms often consist of a data collection unit, constructing a dictionary of basis functions, computing the time derivative, and solving a sparse identification problem which ends to regularised least squares minimization. In this paper, we extend the results of a SINDy based deep learning model discovery (DeePyMoD) approach by integrating greedy sampling technique in its data collection unit and new sparsity promoting algorithms in the least squares minimization unit. In this regard we introduce the greedy sampling neural network in sparse identification of nonlinear partial differential equations (GN-SINDy) which blends a greedy sampling method, the DNN, and the SINDy algorithm. In the implementation phase, to show the effectiveness of GN-SINDy, we compare its results with DeePyMoD by using a Python package that is prepared for this purpose on numerous PDE discovery

연구 동기 및 목표

• 대규모 데이터셋을 사용한 비선형 PDE의 희소 식별에서 차원의 극복 문제와 높은 계산 비용을 해결하기 위해.
• 랜덤 샘플링 대신 가장 정보가 풍부한 스냅샷을 선택하는 근사 샘플링 전략을 도입하여 SINDy 기반 PDE 발견의 데이터 효율성을 향상시키기 위해.
• 예를 들어 STRidge와 같은 고급 희소성 강화 해법을 SINDy 프레임워크에 통합하여 모델 발견 정확도를 향상시키기 위해.
• DeePyMoD 프레임워크를 개선하기 위해 랜덤 샘플링과 기본 해법을 원칙적인 근사 샘플링 및 최적화된 희소 회귀 파이프라인으로 대체하기 위해.
• 데이터 크기를 줄이고 샘플링 전략을 개선하면 최소한의 초모수 조정으로도 우수한 PDE 복원 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• PDE의 해 행렬에서 가장 정보가 풍부한 스냅샷 샘플을 식별하기 위해 이산 경험 보간법(DEIM)을 사용하여 근사 샘플링 전략을 수립한다.
• 선택된 근사 샘플에서 근본적인 동역학을 학습하기 위해 깊은 신경망(DNN)을 사용하여 공간 및 시간 도함수의 정확한 근사치를 도출한다.
• 선택된 DNN 예측 결과를 SINDy 프레임워크에 통합하기 위해 후보 기저 함수(예: u, ux, uxx, u^2ux 등)의 사전을 구성한다.
• 희소 식별 단계에서 희소성 강화 및 정확한 항 선택을 위해 순차적 임계값 릿지 회귀(STRidge) 알고리즘을 적용한다.
• 샘플 선택과 훈련 과정에서의 시간 해상도 제어를 위해 근사 샘플링 임계값(ε_thr = 10⁻⁵)과 시간 분할(t_div = 2)을 사용한다.
• Burgers’, Allen-Cahn, KdV와 같은 여러 PDE에서 동일한 DNN 아키텍처와 평가 지표를 사용하여 GN-SINDy와 DeePyMoD의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비선형 PDE 스냅샷에 대한 근사 샘플링 전략이 랜덤 샘플링 대비 정확한 SINDy 기반 PDE 발견을 위한 데이터 요구량을 크게 줄일 수 있는가?
• RQ2 STRidge를 통한 희소성 강화 통합이 노이즈와 고차원 데이터 존재 조건 하에서 PDE 모델 발견의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 DEIM 기반 샘플링과 DNN 기반 회귀의 조합이 KdV 및 Allen-Cahn과 같은 복잡한 비선형 PDE의 복원에 얼마나 기여하는가?
• RQ4 GN-SINDy의 성능은 DNN 아키텍처와 샘플링 전략과 같은 초모수에 얼마나 민감한가? 다양한 PDE 유형 간에 일반화 가능한가?
• RQ5 GN-SINDy는 비선형 PDE 식별에서 데이터 효율성과 모델 정확도 측면에서 DeePyMoD와 같은 최신 기술을 능가하는가?

주요 결과

• GN-SINDy는 전체 데이터셋의 약 103,000개 스냅샷 중 900개(0.874%)만을 사용하여 코르테웨그-데브리스(KdV) 방정식을 정확히 복원하였다. 이는 매우 높은 데이터 효율성을 보여준다.
• DNN 아키텍처 [2, 64, 64, 64, 64, 1]를 사용하여 KdV 방정식을 정확히 복원하였으며, 추정된 PDE는 u_t - 5.9812 u u_x - 0.9923 u_xxx = 0 이다.
• 모든 테스트된 PDE에서 GN-SINDy는 DeePyMoD를 능가한다: 버거스 방정식은 0.5%의 데이터로, 올렌-코언 방정식은 0.1%, KdV는 0.874%의 데이터로 복원하였다.
• GN-SINDy의 계수 변화 추이를 분석한 결과, u_xxx 항이 u u_x 항보다 더 빠르게 수렴하는 경향을 보였으며, 이는 더 나은 샘플 선택 덕분에 향상된 학습 역학이 구현되었음을 시사한다.
• 층당 8개 또는 16개의 뉴런을 사용하는 DNN을 사용할 경우, GN-SINDy는 KdV 방정식을 복원하지 못했으며, 이는 모델 발견이 DNN 아키텍처에 민감하고, 적절한 초모수 조정이 중요함을 보여준다.
• DeePyMoD는 랜덤 샘플링과 기본 LASSO/OLS 해법을 사용하여 KdV 방정식에 대해 매우 부정확하고 과적합된 모델을 생성하였으며, u^2 u_xxx와 u^2 u_x와 같은 비현실적인 항까지 포함하였다. 반면, GN-SINDy는 정확한 희소한 구조를 복원하였다.