[논문 리뷰] Asymptotic consistency of the WSINDy algorithm in the limit of continuum data

Daniel A. Messenger, David M. Bortz|arXiv (Cornell University)|2022. 11. 29.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 노이즈가 섞인 고해상도 데이터로부터 미분방정식을 식별하는 데 있어 약한 형태의 SINDy(WSINDy) 알고리즘의 渐近적 일致성(consistent)을 확립한다. 이는 국소적 리프시츠 조건을 만족하는 비선형성과 같은 넓은 조건 하에서 WSINDy가 조건 없이 참 모델의 구조를 복원함을 증명하며, 특히 데이터가 노이즈 제거된 경우에 비해 임계 노이즈 임계값을 초과하면 허위 항이 나타나는 것을 밝혀내어 데이터 기반 방정식 발견에서의 강건성에 대한 엄밀한 기반을 제공한다.

ABSTRACT

In this work we study the asymptotic consistency of the weak-form sparse identification of nonlinear dynamics algorithm (WSINDy) in the identification of differential equations from noisy samples of solutions. We prove that the WSINDy estimator is unconditionally asymptotically consistent for a wide class of models which includes the Navier-Stokes equations and the Kuramoto-Sivashinsky equation. We thus provide a mathematically rigorous explanation for the observed robustness to noise of weak-form equation learning. Conversely, we also show that in general the WSINDy estimator is only conditionally asymptotically consistent, yielding discovery of spurious terms with probability one if the noise level is above some critical threshold and the nonlinearities exhibit sufficiently fast growth. We derive explicit bounds on the critical noise threshold in the case of Gaussian white noise and provide an explicit characterization of these spurious terms in the case of trigonometric and/or polynomial model nonlinearities. However, a silver lining to this negative result is that if the data is suitably denoised (a simple moving average filter is sufficient), then we recover unconditional asymptotic consistency on the class of models with locally-Lipschitz nonlinearities. Altogether, our results reveal several important aspects of weak-form equation learning which may be used to improve future algorithms. We demonstrate our results numerically using the Lorenz system, the cubic oscillator, a viscous Burgers growth model, and a Kuramoto-Sivashinsky-type higher-order PDE.

연구 동기 및 목표

• 연속체 데이터의 극한에서 WSINDy 알고리즘이 渐近적 일치성(consistency)을 엄밀히 확립하는 것.
• 노이즈가 존재하더라도 참 모델의 구조를 조건 없이 복원할 수 있는 조건을 규명하는 것.
• 확률 1로 허위 항이 발견되는 임계 노이즈 수준을 규명하는 것.
• 간단한 이동 평균을 통한 데이터 노이즈 제거가 국소적 리프시츠 비선형성을 가진 시스템에서 조건 없이 일치성을 복원하는 방법을 보여주는 것.
• 정규화된 백색 노이즈의 경우 임계 노이즈 수준에 대한 명시적 경계를 도출하고 다항식/삼각함수 모델에서의 허위 항을 특성화하는 것.

제안 방법

• WSINDy 문제를 희소 회귀 프레임워크 내에서 참 가중치 벡터의 지지 집합 복원 문제로 공식화한다.
• 스пат리오크로니컬 그리드를 통한 동역학 통합을 통해 국소 미분 계산을 피하는 약한 형태의 공식화를 분석한다.
• 희소성 유도 펜alties를 갖는 수정된 최소제곱 추정기(MSTLS)를 사용하여 모델 라이브러리 내의 관련 항을 식별한다.
• 집중 불등식과 투영 연산자의 안정성을 적용하여 추정된 가중치와 참 가중치 사이의 편차를 근사한다.
• 그램 행렬의 스펙트럼 성질과 노이즈 유도 변동을 사용하여 임계 노이즈 수준을 유도한다.
• 유한차분 기반의 모멘트 조건을 활용하여 데이터로부터 노이즈 수준을 추정하는 분산 추정을 수행한다.

실험 결과

연구 질문

• RQ1 데이터 해상도가 증가함에 따라 WSINDy 추정기가 渐近적 일치성(consistency)을 보이는 조건은 무엇인가?
• RQ2 확률 1로 허위 항이 발견되는 임계 노이즈 수준은 무엇인가?
• RQ3 국소적 리프시츠 비선형성을 가진 시스템에서 데이터 노이즈 제거가 WSINDy의 渐近적 일치성에 어떤 영향을 미치는가?
• RQ4 정규화된 백색 노이즈의 경우 임계 노이즈 수준에 대한 명시적 경계를 도출할 수 있는가?
• RQ5 다항식 또는 삼각함수 비선형성을 가진 모델에서 허위 항의 명시적 특성은 무엇인가?

주요 결과

• 비선형성이 국소적 리프시츠 조건을 만족할 경우, WSINDy는 나비에-스토크스 방정식 및 쿠라모토-시바시크스 방정식을 포함한 넓은 범위의 모델에 대해 조건 없이 渐近적 일치성(consistency)을 보인다.
• 비선형성이 급격히 증가하는 모델의 경우, WSINDy는 조건부 일치성만을 보인다: 노이즈가 임계 임계값을 초과하면 확률 1로 허위 항이 나타난다.
• 임계 노이즈 수준에 대한 명시적 하한이 $ \frac{\nu^*}{C} $ 로 도출되며, 여기서 $ \nu^* $ 는 모델 구조와 관련된 기하학적 상수이고 $ C $ 는 안정성 상수이다.
• 정규화된 백색 노이즈의 경우, 임계 노이즈 수준은 $ \frac{\nu^*}{C} $ 로 하한이 보장되어, 충분히 낮은 노이즈 수준에서는 지지 집합 복원이 보장된다.
• 다항식 또는 삼각함수 모델에서의 허위 항은 참 및 추정된 투영 연산자 간의 불일치에 따라 명시적으로 특성화된다.
• 데이터에 단순 이동 평균 필터를 적용하면, 국소적 리프시츠 비선형성을 가진 모든 모델에 대해 조건 없이 渐近적 일치성(consistency)이 복원된다.