[논문 리뷰] A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks

Chenxi Wu, Min Zhu외 3명|arXiv (Cornell University)|2022. 07. 21.

Model Reduction and Neural Networks인용 수 43

한 줄 요약

이 논문은 PINN의 10가지 잔류 포인트 샘플링 방법을 포괄적으로 비교하고 두 가지 적응 전략(RAD 및 RAR-D)을 도입하며, forward 및 inverse PDE 문제 전반에서 비적응 방법보다 성능이 우수하다는 것을 6000건이 넘는 시뮬레이션을 기반으로 보여준다.

ABSTRACT

Physics-informed neural networks (PINNs) have shown to be an effective tool for solving forward and inverse problems of partial differential equations (PDEs). PINNs embed the PDEs into the loss of the neural network, and this PDE loss is evaluated at a set of scattered residual points. The distribution of these points are highly important to the performance of PINNs. However, in the existing studies on PINNs, only a few simple residual point sampling methods have mainly been used. Here, we present a comprehensive study of two categories of sampling: non-adaptive uniform sampling and adaptive nonuniform sampling. We consider six uniform sampling, including (1) equispaced uniform grid, (2) uniformly random sampling, (3) Latin hypercube sampling, (4) Halton sequence, (5) Hammersley sequence, and (6) Sobol sequence. We also consider a resampling strategy for uniform sampling. To improve the sampling efficiency and the accuracy of PINNs, we propose two new residual-based adaptive sampling methods: residual-based adaptive distribution (RAD) and residual-based adaptive refinement with distribution (RAR-D), which dynamically improve the distribution of residual points based on the PDE residuals during training. Hence, we have considered a total of 10 different sampling methods, including six non-adaptive uniform sampling, uniform sampling with resampling, two proposed adaptive sampling, and an existing adaptive sampling. We extensively tested the performance of these sampling methods for four forward problems and two inverse problems in many setups. Our numerical results presented in this study are summarized from more than 6000 simulations of PINNs. We show that the proposed adaptive sampling methods of RAD and RAR-D significantly improve the accuracy of PINNs with fewer residual points. The results obtained in this study can also be used as a practical guideline in choosing sampling methods.

연구 동기 및 목표

• 다양한 잔류 포인트 샘플링 전략이 PINN의 정확도와 효율성에 어떤 영향을 미치는지 평가한다.
• 비적응 균일 샘플링 방법 6종, 재샘플링이 있는 균일 sampling, 그리고 세 가지 적응 샘플링 방법(RAR-G, RAD, RAR-D)을 체계적으로 비교한다.
• 두 가지 새로운 적응 샘플링 방법(RAD 및 RAR-D)을 제안하고 여러 forward 및 inverse PDE 문제에서 성능을 평가한다.
• 문제 특성(매끄러운 해와 진동/복잡한 해)에 따라 샘플링 전략을 선택하기 위한 실질적 가이드를 제공한다.

제안 방법

• 잔류 포인트 샘플링 전략을 비적응 균일, 재샘플링이 있는 균일, 적응 방법으로 분류하고 정리한다.
• RAD: PDF p(x) ∝ ε(x)^k / E[ε^k] + c를 사용하는 잔류 기반 적응 분포를 제시한다.
• RAR-D: RAR-G와 RAD의 하이브리드로, RAD 기반 PDF에 따라 점을 추가한다.
• RAR-G(그리디 잔류 개선) 및 이전의 PDF 기반 재샘플링 방법과 비교한다.
• 여섯 개의 PDE 문제(네 개의 forward, 두 개의 inverse)에서 열 가지 샘플링 방법으로 광범위한 수치 실험을 수행한다(>6000 PINN 실행).
• 역문제의 경우 출력 및/또는 매개변수 상대 오차를 포함한 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 잔류 포인트 샘플링 전략이 forward PINN 문제의 정확도에 대해 어떻게 비교되는가?
• RQ2 적응 방법(RAR-G, RAD, RAR-D)이 PDE 문제의 해 특성에 따라 비적응 방법과 비교하여 어떤 성능 차이가 발생하는가?
• RQ3 잔류 포인트 수와 재샘플링 주기가 PINN 성능에 미치는 영향은 무엇인가?
• RQ4 RAD 및 RAR-D가 비적응 접근법에 비해 역문제(매개변수 회복)에서 신뢰할 만한 개선을 제공하는가?

주요 결과

• RAD는 조사된 모든 forward 및 inverse 문제에서 10가지 샘플링 방법 중 일관되게 가장 높은 정확도를 보였다.
• 해가 복잡하거나 급경사 해를 갖는 PDE(예: Burgers’ 및 다중 스케일 파동 방정식)의 경우 RAD와 RAR-D가 더 적은 잔류 포인트로도 정확도를 크게 향상시켰다.
• 매끄러운 PDE(예: 확산)에서는 일부 균일 방법(Hammersley, Random-R 등)도 잘 작동하며 때로는 유사한 오차를 달성한다.
• 비적응 전략 중에서 Random-R은 일반적으로 다른 고정 균일 방법들보다 더 우수한 성능을 보인다.
• 잔류 포인트가 고정되었을 때 저차분수 시퀀스(Halton, Hammersley, Sobol)는 종종 Grid, LHS, Random보다 우수하며, 적응 설정에서 RAD/RAR-D가 추가 이득을 제공한다.
• 역문제에서는 RAD와 RAR-D가 출력 및/또는 매개변수에서 가장 작은 보고된 오차를 달성하는 경향이 있으며, Grid, Random, LHS, Halton, Hammersley, Sobol, Random-R보다 우수한 경우가 많다.