[논문 리뷰] Monte Carlo PINNs: deep learning approach for forward and inverse problems involving high dimensional fractional partial differential equations

Ling Guo, Hao Wu외 2명|arXiv (Cornell University)|2022. 03. 16.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 고차원 정방형 및 역방향 분수형 편미분방정식(FPDEs)을 해결하기 위한 딥러닝 방법인 몬테카를로 물리기반 신경망(MC-PINNs)을 제안한다. 손실 함수 내 분수도를 추정하기 위해 몬테카를로 샘플링을 사용함으로써, fPINNs와 같은 기존 방법에 비해 계산 비용을 감소시켜 고차원 FPDE의 효율적 해법을 가능하게 한다. 이는 10차원 사례에서 검증된 정확도를 보이며, 매개변수화 및 랜덤 입력 문제를 포함한 고차원 FPDE 문제를 해결할 수 있다.

ABSTRACT

We introduce a sampling based machine learning approach, Monte Carlo physics informed neural networks (MC-PINNs), for solving forward and inverse fractional partial differential equations (FPDEs). As a generalization of physics informed neural networks (PINNs), our method relies on deep neural network surrogates in addition to a stochastic approximation strategy for computing the fractional derivatives of the DNN outputs. A key ingredient in our MC-PINNs is to construct an unbiased estimation of the physical soft constraints in the loss function. Our directly sampling approach can yield less overall computational cost compared to fPINNs proposed in \cite{pang2019fpinns} and thus provide an opportunity for solving high dimensional fractional PDEs. We validate the performance of MC-PINNs method via several examples that include high dimensional integral fractional Laplacian equations, parametric identification of time-space fractional PDEs, and fractional diffusion equation with random inputs. The results show that MC-PINNs is flexible and promising to tackle high-dimensional FPDEs.

연구 동기 및 목표

• 분수도의 비국소성과 특이성으로 인해 계산 비용이 과도한 고차원 분수형 PDE를 해결하는 데 도전하는 것.
• 분수도의 유한차분 이산화에 의존하는 기존 fPINN 방법의 높은 계산 비용을 해결하는 것.
• 시간-공간 분수형 PDE의 매개변수 식별과 랜덤 입력을 가진 FPDE의 불확실성 정량화를 가능하게 하는 것.
• 이전 방법에서 사용하는 대규모 보조 점 집합이 필요 없는 확장 가능한 샘플링 기반 접근법을 개발하는 것.
• 10차원 적분 분수라플라스 방정식과 랜덤 매개변수를 가진 역문제를 포함한 고차원 문제에서의 효능을 입증하는 것.

제안 방법

• 신경망 출력의 분수도를 계산하기 위해 몬테카를로 샘플링을 사용하여 기존의 유한차분 기법을 대체한다.
• 스토하스틱 근사 기반으로 손실 함수 내 물리적 제약 조건의 불편추정량을 구성한다.
• 샘플링 기반 적분을 통해 분수도 추정을 딥러닝 모델 훈련 중 손실 함수에 직접 통합한다.
• 적분 분수라플라스 연도를 포함한 정방향 문제, 시간-공간 FPDE의 매개변수 식별, 랜덤 입력을 가진 FPDE에 이 방법을 적용한다.
• 수렴성과 일반화 성능 향상을 위해 적응형 샘플링과 Adam 최적화기법을 사용한 미니배치 훈련을 적용한다.
• 센서 데이터가 있는 역문제에서 사후 분포 추정을 위해 MC-PINNs를 약간의 베이지안 계산(ABC)과 결합한다.

실험 결과

연구 질문

• RQ1 몬테카를로 샘플링은 PINNs 내 분수도 계산에 있어 유한차분 기법에 대한 효율적이고 확장 가능한 대안이 될 수 있는가?
• RQ2 MC-PINNs는 적분 분수라플라스를 포함한 고차원 정방향 문제, 특히 10차원 사례에서 얼마나 정확하게 해결할 수 있는가?
• RQ3 MC-PINNs는 다수의 알려지지 않은 매개변수를 가진 시간-공간 분수형 확산-대류 방정식에서 효과적으로 매개변수 식별을 수행할 수 있는가?
• RQ4 MC-PINNs는 랜덤 분수도나 확산 계수를 가진 FPDE에서 불확실성 정량화를 얼마나 잘 처리할 수 있는가?
• RQ5 고차원 역문제에서 fPINNs에 비해 MC-PINNs의 확장성과 성능은 어떠한가?

주요 결과

• 1D 역문제에서 MC-PINNs는 상대 L2 오차 5.04 × 10⁻⁴를 기록했으며, 모든 식별된 매개변수는 진짜 값에 가까웠다.
• 3D 역문제에서는 상대 L2 오차가 1.18 × 10⁻³이었으며, 식별된 매개변수는 α = 1.50115, γ = 0.50005, c = 0.09981였다.
• 5D 역문제에서는 상대 L2 오차가 3.26 × 10⁻³이었고, 여덟 개의 모든 알려지지 않은 매개변수를 정확히 복원했다.
• 10D 공간 분수라플라스 문제에서 이 방법은 전통적 수치 방법을 초월한 확장성을 보이며 강건한 성능을 보였다.
• 랜덤 입력을 가진 분수확산 문제에서는 차원 증가에 따라 상대 L2 오차가 증가했지만(2D: 낮음, 5D: 중간, 10D: 높음), 고정된 잔차 점 수로도 서브스티튜션 모델은 정확했다.
• MC-PINNs를 활용한 약간의 베이지안 계산은 α와 µ의 사후 분포를 성공적으로 회복했으며, 진짜 값(α = 1, µ = 0)은 신뢰 영역 내에 포함되어 있었다.