[논문 리뷰] Discovering Nonlinear PDEs from Scarce Data with Physics-encoded Learning

Chengping Rao, Pu Ren외 2명|arXiv (Cornell University)|2022. 01. 28.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 희소하고 노이즈가 많으며 저해상도(LR)인 시공간 측정치로부터 비선형 편미분방정식(PDE)을 발견하기 위해 물리법칙을 통합한 딥러닝 프레임워크인 PeRCNN을 제안한다. 먼저 물리법칙에 기반한 순환 합성곱 신경망을 사용해 고정밀도 데이터를 재구성한 후 재구성된 데이터에 대해 희소 회귀를 적용함으로써, 높은 노이즈와 데이터 부족 조건에서도 정확한 PDE 발견을 달성한다. 이는 최대 10%의 노이즈와 10%의 데이터 샘플링 감소 조건에서도 기존 기준 모델들을 능가하는 성능을 보이며 여러 비선형 PDE 시스템에서 검증되었다.

ABSTRACT

There have been growing interests in leveraging experimental measurements to discover the underlying partial differential equations (PDEs) that govern complex physical phenomena. Although past research attempts have achieved great success in data-driven PDE discovery, the robustness of the existing methods cannot be guaranteed when dealing with low-quality measurement data. To overcome this challenge, we propose a novel physics-encoded discrete learning framework for discovering spatiotemporal PDEs from scarce and noisy data. The general idea is to (1) firstly introduce a novel deep convolutional-recurrent network, which can encode prior physics knowledge (e.g., known PDE terms, assumed PDE structure, initial/boundary conditions, etc.) while remaining flexible on representation capability, to accurately reconstruct high-fidelity data, and (2) perform sparse regression with the reconstructed data to identify the explicit form of the governing PDEs. We validate our method on three nonlinear PDE systems. The effectiveness and superiority of the proposed method over baseline models are demonstrated.

연구 동기 및 목표

• 기존 방법들이 낮은 품질의 데이터로 인해 실패하는 저해상도 및 노이즈가 많은 실험 측정치로부터 지배적인 PDE를 발견하는 과제를 해결한다.
• 고품질 데이터에 의존하고 노이즈 조건에서 과적합 및 불안정성이 발생하는 기존 데이터 기반 PDE 발견 방법의 한계를 극복한다.
• 기존 PDE의 항, 초기/경계 조건 등의 사전 물리 지식을 딥러닝 아키텍처에 통합하여 강건성과 정확도를 향상시키는 백박스가 아닌 해석 가능한 모델을 개발한다.
• 데이터가 희소하고 노이즈에 오염된 실세계 상황에서 복잡한 비선형 PDE를 신뢰성 있게 발견할 수 있도록 한다. 특히 고차원 시스템에서 유용하다.
• 물리법칙을 통합한 데이터 재구성과 희소 회귀를 결합한 하이브리드 프레임워크를 제안하여 PDE의 구조와 계수를 반복적으로 개선한다.

제안 방법

• 비선형 PDE 항을 모델링하기 위해 하이웨이 컨벌루션 레이어와 요소별 곱셈을 사용하는 물리 지식을 통합한 새로운 딥 컨볼루션-순환 네트워크 아키텍처인 PeRCNN를 도입한다.
• PeRCNN 네트워크를 사용해 저해상도(LR) 및 노이즈가 있는 측정치로부터 고해상도(HR) 시공간 데이터를 재구성하며, 내장된 제약 조건을 통해 물리적 일관성을 확보한다.
• 다항식 및 도함수 함수의 라이브러리를 사용해 지배적인 후보 항을 식별하기 위해 재구성된 HR 데이터에 희소 회귀(SINDy/STRidge)를 적용한다.
• 발견된 PDE 항의 계수를 향상시키기 위해 완전히 물리 기반의 네트워크를 사용해 최적화 단계를 수행한다. 이는 정확도와 일반화 능력을 향상시킨다.
• 데이터 일관성과 물리적 타당성의 이중 목표를 바탕으로 데이터 재구성과 PDE 발견을 번갈아 가며 반복 최적화한다.
• 기존 PDE의 구조, 초기 및 경계 조건, 반응 항의 형태(예: 다항식)와 같은 사전 지식을 네트워크 아키텍처에 직접 통합하여 해석 가능성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 물리 지식을 통합한 딥러닝 모델이 극도로 희소하고 노이즈가 많은 측정치로부터 물리적 일관성을 유지하는 고정밀도 시공간 데이터를 재구성할 수 있는가?
• RQ2 물리 기반 딥러닝과 희소 회귀의 융합이 데이터 부족과 노이즈 조건에서 PDE 발견의 정확성과 강건성에 어떻게 기여하는가?
• RQ3 고해상도 데이터의 10%만을 사용해도 제안된 프레임워크가 진정한 기반 PDE를 얼마나 정확히 복원할 수 있는가?
• RQ4 높은 노이즈와 저해상도 조건에서 PDE의 구조 복원 및 계수 정확도 측면에서 PDE-FIND, PDE-Net, FCNN+SR 등의 기준 모델과 비교해 본다면 제안된 방법의 성능은 어떠한가?
• RQ5 저해상도 측정치로부터 2D Gray-Scott 및 Gierer-Meinhardt 반응-확산 시스템과 같은 복잡한 비선형 PDE를 다룰 수 있는가?

주요 결과

• 10% 노이즈 조건에서 2D Gierer-Meinhardt 반응-확산 시스템의 PDE 발견에 대해 상대 오차가 $5.44 \times 10^{-2}$이며, 재현율 100%와 정밀도 91.6%를 달성했다.
• 2D Burgers 방정식의 경우, 실제 값에 가까운 계수를 가진 정확한 PDE 구조를 성공적으로 복원했다: $u_t = 0.096\Delta u + 1.038u - 1.048u^3 + \dots$, 계수 정확도가 매우 높았다.
• 26 × 26의 저해상도(LR) 측정치를 사용한 2D Gray-Scott 시스템에서, 고정밀도 101 × 101 해를 재구성하고 최소한의 오차로 정확한 PDE 항을 발견했으며, PDE-FIND, PDE-Net, FCNN+SR를 모두 능가했다.
• 고해상도 데이터의 10%만을 사용해도 프레임워크가 강력한 일반화 능력을 유지함을 확인했다. 이는 데이터 부족 조건에서도 안정적인 성능을 보임을 의미한다.
• 최적화 단계를 거치면 계수 정확도가 크게 향상되었으며, 2D GS 시스템의 최종 PDE에서는 계수가 진값의 $1\%$ 이내로 수렴했다 (예: $\Delta u$ 항의 계수 $2.001 \times 10^{-5}$).
• 모든 세 가지 테스트 케이스에서 뛰어난 재구성 품질과 PDE 발견 정확도를 보이며, 완벽하지 않은 데이터를 가진 실세계 상황에서의 효과성을 입증했다.