[논문 리뷰] Machine Learning for Partial Differential Equations

Steven L. Brunton, J. Nathan Kutz|arXiv (Cornell University)|2023. 03. 30.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이는 기계 학습이 PDE 연구를 어떻게 발전시키는지에 대한 포괄적인 리뷰로, 지배 방정식의 발견, 효과적인 좌표 및 축소형 모델의 학습, 그리고 수치 PDE 해법을 개선하기 위한 해 연산자 학습을 포함한다.

ABSTRACT

Partial differential equations (PDEs) are among the most universal and parsimonious descriptions of natural physical laws, capturing a rich variety of phenomenology and multi-scale physics in a compact and symbolic representation. This review will examine several promising avenues of PDE research that are being advanced by machine learning, including: 1) the discovery of new governing PDEs and coarse-grained approximations for complex natural and engineered systems, 2) learning effective coordinate systems and reduced-order models to make PDEs more amenable to analysis, and 3) representing solution operators and improving traditional numerical algorithms. In each of these fields, we summarize key advances, ongoing challenges, and opportunities for further development.

연구 동기 및 목표

• 복잡한 시스템에 대한 새로운 PDE와 거친 규모의 폐쇄를 학습하기 위한 ML 사용의 동기를 제시한다.
• PDE를 위한 효과적인 좌표 시스템과 축소된 차원 표현의 학습을 탐구한다.
• 해 연산자 표현과 전통적인 수치 PDE 방법의 개선을 검토한다.

제안 방법

• 데이터로부터 지배 항을 식별하기 위한 PDE 발견의 희소 및 기호 회귀(예: PDE-FIND).
• 잡음 강건성 향상을 위한 약형 형식 및 앙상블 방법을 통한 PDE 발견의 향상.
• Koopman 연산자 기반 방법과 신경망 임베딩을 활용하여 선형화 좌표를 찾는다.
• POD, 오토인코더, 및 데이터 기반 역학(SINDy, DMD, Galerkin 회귀)을 이용한 축소 차원 모델링.
• 신경 연산자 및 DeepOnet를 이용해 역 연산자와 mesh-free 솔루션 매핑을 학습한다.
• 학습된 도함수, 향상된 스텐실, 데이터 기반 코아싱(coarsening) 전략을 통한 수치 PDE 해법의 가속 전략.

실험 결과

연구 질문

• RQ1 데이터로부터 직접 PDE를 학습하여 새로운 물리 법칙이나 거친 규모의 폐쇄를 발견할 수 있는가?
• RQ2 비선형 PDE를 선형 또는 단순화된 동역학으로 다룰 수 있게 하는 좌표나 표현은 무엇인가?
• RQ3 함수 공간에서 함수 공간으로 매핑하는 연산자를 학습하여 mesh-free 해 전파를 가능하게 할 수 있는가?
• RQ4 정확도와 계산 비용의 균형을 맞추는 효과적인 데이터 기반 축소형 모델은 무엇인가?
• RQ5 물리 정보 학습이 전통적인 수치 PDE 워크플로우와 불확실성 전파를 어떻게 개선할 수 있는가?

주요 결과

• PDE-FIND 및 PDE 특화 희소 회귀는 고전적 PDE를 재발견하고 새로운 모델 및 폐쇄를 발견하게 한다.
• 약식 형태 공식은 PDE 발견에서 잡음 강건성과 데이터 효율성을 개선하고, 앙상블은 신뢰성을 더 높인다.
• Koopman 기반 좌표와 딥 러닝 임베딩은 비선형 PDE 동역학의 선형화된 또는 단순화된 표현을 가능하게 한다.
• 축소 차원 모델링은 비선형 매니폴드와 데이터 기반 동역학을 결합하여 계산 가능한 시뮬레이션을 달성한다.
• Neural operators와 DeepOnet은 연산자 학습을 위한 이산화 불변의 mesh-free 함수 공간 간 매핑을 제공한다.
• 신경 연산자 및 관련 방법은 수치 PDE 해법의 가속 및 해법 조건성 개선을 위한 프레임워크를 제공한다.