[논문 리뷰] Robust Data-Driven Discovery of Partial Differential Equations under Uncertainties

Zhiming Zhang, Yongming Liu|arXiv (Cornell University)|2021. 01. 31.

Model Reduction and Neural Networks참고 문헌 16인용 수 5

한 줄 요약

이 논문은 $ψ$-PDE 방법을 제안하며, 점진적 희소 식별, 신경망, 빠른 푸리에 변환을 활용하여 극도로 노이즈가 섞인 데이터(최대 50% 노이즈)에서 부분 미분 방정식(PDE)을 발견하는 강력한 데이터 기반 접근법을 제공한다. 이 방법은 최소한의 하이퍼파rameter 조정으로도 정확한 PDE 발견을 달성하며, 나비에-스토크스 방정식과 같은 표준 PDE를 극한의 노이즈 수준에서도 정확히 식별한다.

ABSTRACT

Robust physics (e.g., governing equations and laws) discovery is of great interest for many engineering fields and explainable machine learning. A critical challenge compared with general training is that the term and format of governing equations is not known as a prior. In addition, significant measurement noise and complex algorithm hyperparameter tuning usually reduces the robustness of existing methods. A robust data-driven method is proposed in this study for identifying the governing Partial Differential Equations (PDEs) of a given system from noisy data. The proposed method is based on the concept of Progressive Sparse Identification of PDEs (PSI-PDE or $ψ$-PDE). Special focus is on the handling of data with huge uncertainties (e.g., 50$\%$ noise level). Neural Network modeling and fast Fourier transform (FFT) are implemented to reduce the influence of noise in sparse regression. Following this, candidate terms from the prescribed library are progressively selected and added to the learned PDEs, which automatically promotes parsimony with respect to the number of terms in PDEs as well as their complexity. Next, the significance of each learned terms is further evaluated and the coefficients of PDE terms are optimized by minimizing the L2 residuals. Results of numerical case studies indicate that the governing PDEs of many canonical dynamical systems can be correctly identified using the proposed $ψ$-PDE method with highly noisy data. One great benefit of proposed algorithm is that it avoids complex algorithm modification and hyperparameter tuning in most existing methods. Limitations of the proposed method and major findings are presented.

연구 동기 및 목표

• 기본 방정식 형태에 대한 사전 지식이 없을 때, 높은 불확실성과 노이즈를 포함한 데이터로부터 지배적인 PDE를 발견하는 데 도전하는 것.
• 기존의 희소 회귀 방법에서 안정성에 악영향을 주는 복잡한 하이퍼파rameter 조정에 대한 의존도를 최소화하여 PDE 발견의 강건성을 향상시키는 것.
• 측정 노이즈가 최대 50%에 이르는 시스템에서도 기존 방법이 노이즈와 정규화 파rameter에 민감하여 실패하는 상황에서 정확한 PDE 식별을 가능하게 하는 것.
• 진정한 물리적 기반 구조를 유지하면서도 PDE의 구조에 대한 단순성(파라미터 최소화)을 유지하는 방법을 개발하는 것.
• PDE 해법과 잔차 최소화를 통해 후보 PDE 모델을 평가하고 최적화하여 단일 해 식별을 넘어서 모델의 대표성을 향상시키는 것.

제안 방법

• 이 방법은 점진적 희소 PDE 식별(PSI-PDE 또는 $ψ$-PDE)을 활용하며, 정의된 라이브러리에서 후보 항을 반복적으로 선택하고 진화하는 PDE 모델에 추가한다.
• 신경망과 빠른 푸리에 변환(FFT)을 사용하여 시간-시리즈 데이터를 노이즈 제거하고, 고노이즈 환경에서 공간 및 시간 도함수의 정확도를 향상시킨다.
• 각 단계에서 희소 회귀를 적용하여 가장 관련성이 높은 항을 식별하며, 잔차의 L2 노름을 최소화하면서도 항의 수를 최소화함으로써 희소성 조건을 강제한다.
• 각 식별된 항의 유의미성은 관측 데이터와의 PDE 해 비교를 통해 평가되며, 잔차 최소화를 통해 계수를 최적화하여 정확도를 향상시킨다.
• 노이즈 데이터에서 작은 계수 변동에 민감하지 않도록 하기 위해 딱딱한 임계값 설정을 피하고 점진적 선택 전략을 사용한다.
• 다양한 후보 PDE가 수치적으로 해석되고 참값 데이터와 비교되어 가장 대표적인 모델이 선택된다.

실험 결과

연구 질문

• RQ1 데이터에 최대 50%의 노이즈가 포함되어 있을 때, 데이터 기반 방법이 동적 시스템의 정확한 지배 PDE를 발견할 수 있는가?
• RQ2 $ψ$-PDE 방법은 하이퍼파rameter 조정을 최소화하면서도 다양한 노이즈 수준에서 강건성을 유지하는가?
• RQ3 신경망과 FFT의 사용이 노이즈가 많은 데이터에서 도함수 추정과 PDE 식별에 얼마나 기여하는가?
• RQ4 후보 PDE 모델의 점진적 선택 및 평가가 단일 해 식별에 기반한 희소 회귀에 비해 모델의 대표성은 어떻게 향상되는가?
• RQ5 계수 최적화와 PDE 해법의 영향은 높은 노이즈 조건에서 발견된 PDE의 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• $ψ$-PDE 방법은 50% 노이즈 조건에서도 2D 나비에-스토크스 방정식의 정확한 PDE 형태를 식별할 수 있으며, 진동 항 계수의 진짜 값과의 편차가 오직 14%에 불과하다.
• 20% 노이즈 조건에서는 학습된 PDE의 해가 참값 해와 거의 구분되지 않으며, 이는 모델 예측의 높은 정밀도를 확인한다.
• 이 방법은 모든 시험 노이즈 수준에서(50% 포함) 나비에-스토크스 시스템의 전체 PDE 구조(압력 항 및 점성 항 포함)를 정확히 복원한다.
• 이 방법은 최소한의 하이퍼파rameter 조정으로도 안정적이고 정확한 PDE 발견을 달성하며, 정규화 및 임계값 파ram터에 민감한 기존 방법들을 능가한다.
• 신경망과 FFT의 사용은 도함수 추정에 대한 노이즈 영향을 크게 감소시켜 고노이즈 환경에서도 신뢰할 수 있는 희소 회귀를 가능하게 한다.
• 후보 모델의 점진적 선택 및 평가가 강건성을 향상시켜, 항의 수나 구조에 대한 사전 가정 없이도 가장 물리적으로 대표적인 PDE를 식별할 수 있다.