[논문 리뷰] Learning in Modal Space: Solving Time-Dependent Stochastic PDEs Using Physics-Informed Neural Networks

Dongkun Zhang, Ling Guo외 1명|arXiv (Cornell University)|2019. 05. 03.

Model Reduction and Neural Networks참고 문헌 27인용 수 16

한 줄 요약

이 논문은 시간에 따라 변화하는 스토케스틱 PDE를 해결하기 위해 물리법칙을 통합한 신경망(PINNs)과 동적으로 수직(DO) 및 이중수직(BO) 방법을 통합한 NN-DO/BO를 제안한다. DO/BO 제약 조건을 손실 함수에 암묵적으로 통합함으로써 기존 DO/BO 방법의 주요 한계, 즉 역행성과 고유값 교차 가정을 극복하고, 노이즈가 있는 데이터를 포함한 장시간 통합과 역문제 해결을 정확하게 수행할 수 있으며, 스토케스틱 버거스 방정식과 반응-확산 방정식을 포함한 벤치마크 문제에서 높은 정확도를 달성한다.

ABSTRACT

One of the open problems in scientific computing is the long-time integration of nonlinear stochastic partial differential equations (SPDEs). We address this problem by taking advantage of recent advances in scientific machine learning and the dynamically orthogonal (DO) and bi-orthogonal (BO) methods for representing stochastic processes. Specifically, we propose two new Physics-Informed Neural Networks (PINNs) for solving time-dependent SPDEs, namely the NN-DO/BO methods, which incorporate the DO/BO constraints into the loss function with an implicit form instead of generating explicit expressions for the temporal derivatives of the DO/BO modes. Hence, the proposed methods overcome some of the drawbacks of the original DO/BO methods: we do not need the assumption that the covariance matrix of the random coefficients is invertible as in the original DO method, and we can remove the assumption of no eigenvalue crossing as in the original BO method. Moreover, the NN-DO/BO methods can be used to solve time-dependent stochastic inverse problems with the same formulation and computational complexity as for forward problems. We demonstrate the capability of the proposed methods via several numerical examples: (1) A linear stochastic advection equation with deterministic initial condition where the original DO/BO method would fail; (2) Long-time integration of the stochastic Burgers' equation with many eigenvalue crossings during the whole time evolution where the original BO method fails. (3) Nonlinear reaction diffusion equation: we consider both the forward and the inverse problem, including noisy initial data, to investigate the flexibility of the NN-DO/BO methods in handling inverse and mixed type problems. Taken together, these simulation results demonstrate that the NN-DO/BO methods can be employed to effectively quantify uncertainty propagation in a wide range of physical problems.

연구 동기 및 목표

• 임의의 초기 조건을 가진 비선형 스토케스틱 PDE의 장시간 통합 문제를 해결한다.
• 역행성 행렬이 필요하거나 고유값 교차를 피해야 하는 기존 DO/BO 방법의 한계를 극복한다.
• 데이터 기반 신경망을 활용해 시간에 따라 변화하는 SPDE에서 효과적인 불확실성 정량화를 실현한다.
• 최소한의 계산 비용으로 PINNs를 전방 문제와 역문제를 동시에 해결할 수 있도록 확장한다.
• 역문제에서 노이즈가 섞이거나 산산이 흩어진 측정 데이터를 효과적으로 처리할 수 있도록 한다.

제안 방법

• DO/BO 제약 조건을 PINN 손실 함수에 암묵적으로 통합함으로써 모드 진화 방정식을 명시적으로 유도하지 않는 NN-DO 및 NN-BO 방법을 제안한다.
• 일반화된 시간에 따라 변화하는 카르누넨-뢰브 분해를 사용하여 해를 공간 모드와 확률적 계수의 합으로 표현한다.
• 손실 함수 정규화를 통해 역동적 수직성(비드) 또는 이중수직성(비오) 제약 조건을 구현함으로써 분해의 시간 일관성을 보장한다.
• 자동 미분를 사용하여 공간-시간 영역 전역에서 PDE 잔차와 모드 제약 조건을 동시에 강제하는 신경망을 훈련시킨다.
• 측정 데이터를 손실 함수에 통합함으로써 전방 문제와 역문제에 동일한 아키텍처와 훈련 비용을 사용한다.
• 정적 초기 조건과 고차원 랜덤 입력을 포함한 문제에 적용하며, 빈번한 고유값 교차가 발생하는 경우도 포함한다.

실험 결과

연구 질문

• RQ1 PINNs는 명시적인 모드 진화 방정식이 필요 없이 DO/BO 방법과 효과적으로 조합되어 시간에 따라 변화하는 스토케스틱 PDE를 해결할 수 있는가?
• RQ2 NN-DO/BO 프레임워크는 기존 DO/BO 방법의 역행성과 고유값 교차 문제를 극복할 수 있는가?
• RQ3 비선형 SPDE의 장시간 통합에서 복잡한 확률적 역학을 가진 경우 NN-DO/BO 방법은 얼마나 잘 성능을 내는가?
• RQ4 NN-DO/BO 방법은 전방 문제와 동일한 공식을 사용하여 노이즈가 섞이거나 흐릿한 데이터를 가진 스토케스틱 역문제를 해결할 수 있는가?
• RQ5 스토케스틱 버거스 방정식과 반응-확산 방정식과 같은 벤치마크 문제에서 NN-DO/BO 방법의 정확도와 수렴 행동은 어떠한가?

주요 결과

• NN-DO/BO 방법은 고유값 교차 문제로 기존 DO/BO 방법이 실패하는 선형 스토케스틱 이동 방정식을 정확히 해결하였으며, 초기 조건이 결정적일 경우에도 성공적으로 작동한다.
• 스토케스틱 버거스 방정식의 경우, 빈번한 고유값 교차가 발생하더라도 NN-BO 방법은 안정적인 장시간 통합을 달성하였고, 원래의 BO 방법이 이러한 조건에서 실패하는 것에 비해 뛰어난 성능을 보였다.
• 비선형 반응-확산 방정식에서 NN-BO 방법은 $t=1.0$ 시점에서 첫 번째 랜덤 계수 $Y_1$에 대해 루트 평균 제곱 오차(RMSE)가 0.019를 기록하여, 역문제 설정에서 매우 높은 정확도를 확보하였다.
• 역문제에서 추정된 매개변수 $a$와 $b$는 100,000개의 훈련 에포크 내에 진짜 값에 수렴하였으며, 매개변수 식별의 강인성을 입증하였다.
• NN-DO/BO 프레임워크는 전방 문제와 역문제 모두에서 일관된 계산 복잡도를 유지하여 혼합형 문제에 대한 원활한 적용을 가능하게 하였다.
• 고차원 랜덤 입력과 노이즈가 있는 초기 데이터를 포함한 다양한 시험 케이스에서 효과적인 불확실성 정량화를 보였으며, 정확도 저하가 최소한이었다.