[논문 리뷰] Machine Discovery of Partial Differential Equations from Spatiotemporal Data

Ye Yuan, Junlin Li외 10명|arXiv (Cornell University)|2019. 09. 15.

Model Reduction and Neural Networks참고 문헌 82인용 수 9

한 줄 요약

이 논문은 스파arsity를 강제하는 스파스 베이지안 학습을 사용하여 시공간 데이터에서 해석 가능한 편미분방정식(PDE)을 자동으로 발견하는 데이터 기반 프레임워크인 희소 시공간 시스템 발견(Sparse Spatiotemporal System Discovery, S³d)을 제안한다. 이 방법은 시뮬레이션 데이터로부터 나비에-스토크스 방정식과 사인-고든 방정식을 포함한 10개의 표준 PDE를 성공적으로 식별하였고, 여행파 대류 시스템의 실험 데이터를 바탕으로 한 검증을 통해 복잡한 시스템에서 물리 법칙 발견을 가속화할 잠재력을 보여주었다.

ABSTRACT

The study presents a general framework for discovering underlying Partial Differential Equations (PDEs) using measured spatiotemporal data. The method, called Sparse Spatiotemporal System Discovery ($ ext{S}^3 ext{d}$), decides which physical terms are necessary and which can be removed (because they are physically negligible in the sense that they do not affect the dynamics too much) from a pool of candidate functions. The method is built on the recent development of Sparse Bayesian Learning; which enforces the sparsity in the to-be-identified PDEs, and therefore can balance the model complexity and fitting error with theoretical guarantees. Without leveraging prior knowledge or assumptions in the discovery process, we use an automated approach to discover ten types of PDEs, including the famous Navier-Stokes and sine-Gordon equations, from simulation data alone. Moreover, we demonstrate our data-driven discovery process with the Complex Ginzburg-Landau Equation (CGLE) using data measured from a traveling-wave convection experiment. Our machine discovery approach presents solutions that has the potential to inspire, support and assist physicists for the establishment of physical laws from measured spatiotemporal data, especially in notorious fields that are often too complex to allow a straightforward establishment of physical law, such as biophysics, fluid dynamics, neuroscience or nonlinear optics.

연구 동기 및 목표

• 측정된 시공간 데이터로부터 사전 물리적 지식에 의존하지 않고 일반적이고 자동화된 프레임워크를 개발하여 기저의 편미분방정식(PDE)을 발견하는 것.
• 스파스 베이지안 학습을 통해 식별된 PDE의 계수에 희소성 조건을 도입하여 필수적인 물리적 항과 무시할 수 있는 항을 식별하는 것.
• 이론적 보장 하에 모델 복잡성과 피팅 오차를 균형 잡아, 이해 가능하고 정확한 PDE 발견을 가능하게 하는 것.
• 합성 시뮬레이션과 실제 실험 데이터 양쪽 모두에서 방법을 검증하여, 여행파 대류 실험에서 유도된 복합 기니스부르크-랜드외 방정식을 포함한 것.
• 생물물리학, 유체역학, 비선형 광학 분야의 복잡하고 고차원적인 시스템에서 물리 법칙 발견을 가속화하는 데 물리학자들이 활용할 수 있도록 지원하는 것.

제안 방법

• 이 방법은 상태 변수의 비선형 항과 편미분을 포함한 큰 후보 함수 사전(dictionary)을 기반으로 PDE 발견 문제를 희소 회귀 문제로 재구성한다.
• 스파스 베이지안 학습(Sparse Bayesian Learning, SBL)을 사용하여 PDE 계수 벡터의 희소성을 강제함으로써, 피팅 정확도와 복잡성의 균형을 이루는 간결한 모델을 촉진한다.
• 이 알고리즘은 두 단계 최적화 과정을 사용한다: 첫째, 수치 미분을 통해 노이즈가 있는 데이터로부터 상태 변수의 도함수를 계산한다; 둘째, 희소 회귀 문제를 해결하여 PDE 내에서 활성화된 항을 식별한다.
• 복소수 변수를 가진 시스템의 경우, 복소수 시스템을 실수 시스템으로 매핑하기 위해 실수 기반 변환을 적용하여 동일한 희소 회귀 프레임워크를 사용할 수 있도록 한다.
• 필요에 따라 적절한 직교 분해(POD)와 같은 차원 축소 기법을 적용함으로써, 이 프레임워크는 고차원 데이터를 처리하는 데도 스케일이 가능하다.
• 적절한 조건 하에 최적화 단계의 연속성을 통해 이론적 수렴성을 확립하였으며, 알고리즘이 희소 회귀 목표 함수를 최소화하는 해로 수렴함을 증명하였다.

실험 결과

연구 질문

• RQ1 사전 물리적 가정 없이 데이터 기반 방법이 시공간 데이터에서 해석 가능한 편미분방정식을 자동으로 발견할 수 있는가?
• RQ2 베이지안 희소성 강제를 통한 희소 회귀는 노이즈가 있거나 고차원적인 데이터에서 PDE의 정확한 항 조합을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 이 방법은 여행파 대류 시스템과 같은 실제 실험 데이터에 일반화되어, 예를 들어 복합 기니스부르크-랜드외 방정식과 같은 알려진 PDE를 회복할 수 있는가?
• RQ4 복잡한 동역학적 시스템에서 이 프레임워크는 모델의 이해 가능성과 예측 정확성 사이를 어느 정도 균형 잡는가?
• RQ5 비선형, 소산성, 분산성을 가진 다양한 PDE 클래스에 대해 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• S³d 프레임워크는 나비에-스토크스 방정식과 사인-고든 방정식을 포함한 10개의 표준 PDE를 그 형태에 대한 사전 지식 없이 시뮬레이션 데이터로부터 성공적으로 발견하였다.
• 스파스 베이지안 학습의 희소성 유도 특성 덕분에 노이즈가 있는 데이터에서도 정확한 PDE 구조를 식별하는 데 높은 정확도를 달성하였다.
• 이 프레임워크는 여행파 대류 시스템에서의 실험 데이터를 바탕으로 검증되었으며, 높은 정밀도로 복합 기니스부르크-랜드외 방정식(CGLE)을 성공적으로 복원하였다.
• 이론적 수렴 보장을 가진 희소 회귀의 사용은 복잡성과 피팅 오차의 균형을 이룬 최소한의 이해 가능한 PDE 모델을 식별하는 데 기여하였다.
• POD와 같은 차원 축소 기법과의 통합을 통해 고차원 데이터에 대한 강건성과 확장성을 입증하였다.
• 이론적 분석을 통해 최적화 알고리즘이 희소 회귀 목표 함수를 최소화하는 해로 수렴함을 확인하였으며, 이는 발견된 모델의 신뢰성을 뒷받침한다.