[논문 리뷰] Encoding physics to learn reaction-diffusion processes

Chengping Rao, Pu Ren외 4명|arXiv (Cornell University)|2021. 06. 09.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 희소하고 노이즈가 많은 데이터에서 반응-확산 과정을 학습하는 데 성능을 향상시키기 위해 알려진 PDE 구조를 신경망에 통합하는 물리적 구조를 통합한 딥러닝 프레임워크 PeRCNN을 제안한다. 물리적 제약 조건을 경직성 있게 통합하고, 기호 계산을 통해 동적 라이브러리 행렬을 구축함으로써, 정확하고 해석 가능하며 일반화 가능한 PDE의 정방향 및 역방향 모델링이 가능해지며, 표준 PINNs보다 데이터 효율성과 강건성에서 뛰어나다.

ABSTRACT

Modeling complex spatiotemporal dynamical systems, such as the reaction-diffusion processes, have largely relied on partial differential equations (PDEs). However, due to insufficient prior knowledge on some under-explored dynamical systems, such as those in chemistry, biology, geology, physics and ecology, and the lack of explicit PDE formulation used for describing the nonlinear process of the system variables, to predict the evolution of such a system remains a challenging task. Unifying measurement data and our limited prior physics knowledge via machine learning provides us with a new path to solving this problem. Existing physics-informed learning paradigms impose physics laws through soft penalty constraints, whose solution quality largely depends on a trial-and-error proper setting of hyperparameters. Since the core of such methods is still rooted in black-box neural networks, the resulting model generally lacks interpretability and suffers from critical issues of extrapolation and generalization. To this end, we propose a deep learning framework that forcibly encodes given physics structure to facilitate the learning of the spatiotemporal dynamics in sparse data regimes. We show how the proposed approach can be applied to a variety of problems regarding the PDE system, including forward and inverse analysis, data-driven modeling, and discovery of PDEs. The resultant learning paradigm that encodes physics shows high accuracy, robustness, interpretability and generalizability demonstrated via extensive numerical experiments.

연구 동기 및 목표

• 부분적 또는 알려지지 않은 PDE 수식이 존재하는 시스템에서 데이터가 부족한 조건에서도 시공간적 동역학을 학습하는 데 도전하는 것.
• 소프트 페널티 제약 조건에 의존하고 일반화 능력이 떨어지는 등의 한계를 지닌 물리 기반 신경망(PINNs)의 문제점을 해결하기 위해 모델에 물리적 구조를 경직성 있게 통합하는 것.
• 강건한 정방향 및 역방향 분석, 데이터 기반 모델링, PDE 발견이 가능하도록 해석 가능성과 일반화 능력이 높은 프레임워크를 개발하는 것.
• 희소 회귀와 기호 계산을 통합하여 동적 라이브러리 구축을 통해 모델 정확도와 효율성을 향상시키는 것.

제안 방법

• 프레임워크는 알려진 PDE 구조(예: 반응-확산 항)를 네트워크의 레이어에 직접 통합함으로써 물리 법칙을 경직성 있게 통합하는 새로운 아키텍처인 PeRCNN을 사용한다.
• 기호 계산 모듈은 네트워크 출력에서 후보 함수(예: u, u², ∂u/∂x)를 추출하여 가능한 PDE 항의 공간을 커버하는 동적 라이브러리 행렬 Θ(U)를 구성한다.
• 지배적인 PDE는 선형 시스템 Ut = Θ(U)Ξ로 표현되며, 여기서 Ξ는 PDE 계수를 나타내는 희소 계수 벡터이다.
• STRidge 알고리즘을 통한 희소 회귀를 적용하여 PDE 내에서 관련성이 높은 항의 최소 집합을 식별함으로써 모델 정확도와 희소성의 균형을 이룬다.
• 계수 미세조정 단계에서는 PDE 계수를 학습 가능한 변수로 간주하고 전체 측정 데이터를 기반으로 재학습하여 발견된 방정식의 정밀도를 향상시킨다.
• 계산 효율성을 유지하면서도 정확도를 보존하기 위해 초기 희소 회귀 단계에서 데이터를 부분 샘플링한다.

실험 결과

연구 질문

• RQ1 물리적 구조를 경직성 있게 통합한 딥러닝 모델이 희소하고 노이즈가 많은 데이터에서 반응-확산 과정을 학습하는 데 있어 PINNs보다 더 뛰어난 성능을 보일 수 있는가?
• RQ2 기호 계산과 희소 회귀를 통합함으로써 발견된 PDE의 정확도와 해석 가능성은 어떻게 향상되는가?
• RQ3 제안된 프레임워크는 정방향 예측, 역방향 분석, PDE 발견 등 다양한 PDE 시스템에 대해 얼마나 잘 일반화되는가?
• RQ4 동적 라이브러리 구축 방식이 PDE 발견 과제에서 사전 정의된 후보 집합보다 우수한 성능을 보일 수 있는가?
• RQ5 계수의 미세조정이 추가 데이터 없이 발견된 PDE의 정확도를 크게 향상시킬 수 있는가?

주요 결과

• 제안된 PeRCNN 프레임워크는 초기 희소 회귀에 전체 데이터의 10%만 사용함에도 불구하고 반응-확산 과정의 정방향 및 역방향 모델링에서 높은 정확도와 강건성을 확보한다.
• 표준 PINNs가 소프트 페널티 제약 조건으로 인해 물리적 제약 조건을 충족하지 못하는 경향이 있는 데 비해, 본 방법은 일반화 능력과 해석 가능성 면에서 뛰어나다.
• STRidge 알고리즘을 통한 희소 회귀는 합성 및 실세계 데이터셋에서 검증된 바에 따라 높은 희소성과 낮은 회귀 오차를 기록하며 정확한 PDE 구조를 식별한다.
• 전체 데이터셋에서 PDE 계수를 미세조정함으로써 예측 정확도가 크게 향상되며, 이는 종단 간 학습 전략의 효과성을 확인한다.
• 기호 계산을 통한 동적 라이브러리 구축 방식은 사전 정의된 후보 집합보다 우수한 성능을 보이며, 더 정확하고 적응 가능한 PDE 발견이 가능하다.
• 희소 회귀 단계에서의 샘플링 덕분에 계산이 효율적이며, 2D Gray-Scott 및 Gierer-Meinhardt 반응-확산 시스템에서 재구성된 해의 정밀도가 높게 유지됨을 확인했다.