[논문 리뷰] Bayesian data-driven discovery of partial differential equations with variable coefficients

Aoxue Chen, Yifan Du외 2명|arXiv (Cornell University)|2021. 02. 02.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 시간적 또는 공간적으로 변화하는 계수를 가진 편미분방정식(PDE)을 발견하기 위해 베이지안 그룹 라소와 스파이크 앤 슬랩 사전확률을 사용하는 강건한 베이지안 희소 학습 알고리즘을 제안한다. 게이브스 샘플링을 통해 사후분포에서 샘플링함으로써 계수 추정치의 불확실성을 정량화하고, 오차 막대를 통한 적응형 임계값 설정과 모델 선택을 가능하게 하여, 노이즈 조건에서 비베이지안 방법보다 뛰어난 성능을 보이며, 노이즈 필터링 전처리를 통해 PDE 발견 정확도를 향상시킨다.

ABSTRACT

The discovery of Partial Differential Equations (PDEs) is an essential task for applied science and engineering. However, data-driven discovery of PDEs is generally challenging, primarily stemming from the sensitivity of the discovered equation to noise and the complexities of model selection. In this work, we propose an advanced Bayesian sparse learning algorithm for PDE discovery with variable coefficients, predominantly when the coefficients are spatially or temporally dependent. Specifically, we apply threshold Bayesian group Lasso regression with a spike-and-slab prior (tBGL-SS) and leverage a Gibbs sampler for Bayesian posterior estimation of PDE coefficients. This approach not only enhances the robustness of point estimation with valid uncertainty quantification but also relaxes the computational burden from Bayesian inference through the integration of coefficient thresholds as an approximate MCMC method. Moreover, from the quantified uncertainties, we propose a Bayesian total error bar criteria for model selection, which outperforms classic metrics including the root mean square and the Akaike information criterion. The capability of this method is illustrated by the discovery of several classical benchmark PDEs with spatially or temporally varying coefficients from solution data obtained from the reference simulations. In the experiments, we show that the tBGL-SS method is more robust than the baseline methods under noisy environments and provides better model selection criteria along the regularization path.

연구 동기 및 목표

• 노이즈가 있는 데이터로부터 시간적 또는 공간적으로 변화하는 계수를 가진 PDE를 탐색하는 강건한 방법을 개발하기 위해.
• 베이지안 추론을 통해 변수 계수의 불확실성 정량화를 가능하게 하여 표준 오차와 신뢰구간을 제공하기 위해.
• 총 오차 막대 및 그룹 오차 막대와 같은 불확실성 기반 기준을 사용하여 모델 선택 및 임계값 설정을 향상시키기 위해.
• 노이즈 필터링 기법(예: 사비츠키-골라, 버터워스, 이동 평균)을 학습 알고리즘과 통합하여 고노이즈 조건에서의 강건성을 향상시키기 위해.
• 노이즈가 많고 복잡한 데이터 영역에서 기존 방법들인 순차적 그룹 임계값 릿지 회귀와 그룹 라소보다 성능을 뛰어나게 하기 위해.

제안 방법

• 비효율적인 항목에 대해 정확한 0 추정치를 가능하게 하기 위해 그룹 희소성을 강제하는 베이지안 그룹 라소와 스파이크 앤 슬랩 사전확률을 사용한다.
• 대규모 데이터 환경에서 수렴을 가속화하기 위해 SGTR와 임계값 희소 베이지안 회귀에 영감을 받은 순차적 임계값 설정 메커니즘을 적용한다.
• 게이브스 샘플러를 통한 사후분포 샘플링을 통해 계수 분포, 표준 오차, 신뢰구간을 추정할 수 있다.
• 세 가지 새로운 기준—근미분제곱근, 총 오차 막대, 그룹 오차 막대—를 도입하여 적응형 임계값 설정과 모델 평가를 위해 사용한다.
• 학습 이전에 노이즈 감소 필터(이동 평균, 사비츠키-골라, 버터워스)를 적용하여 노이즈 영향을 최소화한다.
• 각 변수 계수를 특징의 그룹으로 간주함으로써 그룹별 희소성과 동적인 PDE 구조 식별 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스파이크 앤 슬랩 사전확률을 사용한 베이지안 희소 학습은 시간적 또는 공간적으로 변화하는 계수를 가진 PDE를 효과적으로 탐색하면서도 불확실성 정량화를 수행할 수 있는가?
• RQ2 사후분포 샘플링을 통한 불확실성 정량화가 비베이지안 방법에 비해 임계값 설정 및 모델 선택에 어떻게 향상시키는가?
• RQ3 노이즈 필터의 통합이 고노이즈 조건에서 PDE 탐색의 강건성을 크게 향상시킬 수 있는가?
• RQ4 그룹 오차 막대 기준이 기존의 근미분제곱근 또는 총 오차 막대 기준보다 더 나은 정확한 항 식별을 가능하게 하는가?
• RQ5 다양한 노이즈 수준과 데이터 복잡도에서 제안된 방법은 SGTR와 그룹 라소에 비해 성능 면에서 어떻게 비교되는가?

주요 결과

• 이동 평균 필터를 사용할 경우, 계수 MSE는 $ 7.361 \times 10^{-5} $로, 필터링 없이 $ 0.04244 $ MSE를 기록한 것에 비해 유의미하게 낮아졌다.
• 사비츠키-골라 필터를 사용할 경우, 계수 MSE는 $ 7.363 \times 10^{-5} $로 감소하여 신호 추적 및 노이즈 감소 성능이 향상됨을 보였다.
• 임계 주파수 0.0725인 버터워스 필터를 사용할 경우, 최소 MSE $ 7.435 \times 10^{-6} $를 기록하여 사전 처리의 효과를 추가로 검증하였다.
• 베이지안 접근법은 신뢰할 수 있는 불확실성 추정치를 제공하여, 비베이지안 방법보다 노이즈 조건에서 더 뛰어난 적응형 임계값 설정이 가능했다.
• 고노이즈 조건에서 제안된 방법은 SGTR보다 더 나은 성능을 유지하였으며, 정확한 PDE 구조 탐지에서 그룹 라소와 동일하거나 이를 초월하였다.
• 그룹 오차 막대 기준은 다른 임계값 설정 방법이 실패한 경우에도 정확한 항을 성공적으로 식별할 수 있었으며, 모델 선택에 있어 추가적인 가치를 입증하였다.