[논문 리뷰] Physics-informed neural networks with residual/gradient-based adaptive sampling methods for solving PDEs with sharp solutions

Zhiping Mao, Xuhui Meng|arXiv (Cornell University)|2023. 02. 16.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 날카러운 해를 가진 PDE를 해결하는 데 있어 정확도를 향상시키기 위해 잔차 기반 및 기울기 기반 적응형 샘플링 방법(ASMs)을 갖춘 물리 기반 신경망(PINNs)을 제안한다. 잔차가 크거나 해의 기울기가 큰 영역에 반복적으로 잔차 점을 추가함으로써, 두 가지 지표를 모두 사용하는 ASM II는 표준 PINNs와 잔차만 사용하는 ASM I에 비해 뛰어난 정확도, 안정성 및 수렴성을 달성한다.

ABSTRACT

We consider solving the forward and inverse PDEs which have sharp solutions using physics-informed neural networks (PINNs) in this work. In particular, to better capture the sharpness of the solution, we propose adaptive sampling methods (ASMs) based on the residual and the gradient of the solution. We first present a residual only based ASM algorithm denoted by ASM I. In this approach, we first train the neural network by using a small number of residual points and divide the computational domain into a certain number of sub-domains, we then add new residual points in the sub-domain which has the largest mean absolute value of the residual, and those points which have largest absolute values of the residual in this sub-domain will be added as new residual points. We further develop a second type of ASM algorithm (denoted by ASM II) based on both the residual and the gradient of the solution due to the fact that only the residual may be not able to efficiently capture the sharpness of the solution. The procedure of ASM II is almost the same as that of ASM I except that in ASM II, we add new residual points which not only have large residual but also large gradient. To demonstrate the effectiveness of the present methods, we employ both ASM I and ASM II to solve a number of PDEs, including Burger equation, compressible Euler equation, Poisson equation over an L-shape domain as well as high-dimensional Poisson equation. It has been shown from the numerical results that the sharp solutions can be well approximated by using either ASM I or ASM II algorithm, and both methods deliver much more accurate solution than original PINNs with the same number of residual points. Moreover, the ASM II algorithm has better performance in terms of accuracy, efficiency and stability compared with the ASM I algorithm.

연구 동기 및 목표

• 날카러운 해를 가진 PDE를 정확하게 해결하는 데 있어 물리 기반 신경망(PINNs)이 빈약한 수렴성과 낮은 정확도를 보이는 문제에 대응한다.
• 균일하거나 사전 지식 기반의 잔차 샘플링의 한계를 극복하기 위해, 오차가 크거나 기울기가 급격한 영역에서 동적으로 샘플링을 정밀화하는 적응형 샘플링 전략을 도입한다.
• 복잡한 기하학적 구조와 고차원 문제에서 정방향 및 역방향 문제의 해 정확도와 학습 안정성을 향상시킨다.
• 날카러운 특징이 경계 근처에 존재할 경우 경계 조건에 대한 적응형 정밀화를 확장하여 전체 해의 정밀도를 향상시킨다.
• PINNs에서 잔차와 기울기 정보를 조합하여 보다 강력하고 효율적인 샘플링을 가능하게 한다.

제안 방법

• 잔차 평균이 가장 큰 부분 영역에서 새로운 잔차 점을 추가하는 ASM I을 제안한다. 이는 잔차 값이 가장 큰 점을 선택한다.
• 잔차와 기울기 크기를 모두 고려한 향상된 방법인 ASM II를 개발한다. 이는 큰 잔차와 큰 해의 기울기를 가진 점을 추가하여 날카러운 특징을 더 잘 포착한다.
• 계산 영역을 S개의 부분 영역으로 분할하여 국소적 오차 및 기울기 평가를 수행한다.
• 적응형 정밀화 결정을 위해 부분 영역 통합 잔차 및 기울기 노름을 계산하기 위해 가우시안 구적법을 적용한다.
• 경계 근처에 날카운 특징이 존재할 경우, 해의 크기가 큰 경계 점을 추가함으로써 적응형 경계 샘플링을 통합한다.
• Adam 및 L-BFGS 최적화기를 사용하여 반복적으로 PINN을 학습하고, 매 반복마다 수렴하거나 최대 반복 횟수에 도달할 때까지 적응형 정밀화를 적용한다.

Figure 1: Schematic of PINNs. Yellow dots: inputs of the NN, blue dots: activation function, green dots $\tilde{u}$ : output of the neural network (which is used to approximate the solution of the PDE), orange dots: differential operator, $R$ represents the residual of the PDE, $Loss_{Data}$ represe

실험 결과

연구 질문

• RQ1 잔차와 기울기 기반 적응형 샘플링이 균일하거나 잔차만 사용하는 방법에 비해 날카러운 해를 가진 PDE에 대한 PINN 정확도를 향상시키는가?
• RQ2 해의 기울기 정보를 통합함으로써 PINNs의 적응형 샘플링 과정에서 안정성과 효율성이 어떻게 향상되는가?
• RQ3 날카러운 특징이 도메인 경계에 위치할 경우, 경계 근처의 적응형 샘플링이 해 정확도에 얼마나 기여하는가?
• RQ4 비선형성 및 고차원 문제를 포함한 다양한 PDE에서 제안된 ASMs(ASM I 및 ASM II)는 수렴 속도, 정확도 및 강건성 측면에서 어떻게 비교되는가?
• RQ5 제안된 적응형 샘플링 전략이 표준 PINN 접근법에 비해 높은 정확도를 달성하기 위해 필요한 잔차 점의 수를 크게 줄일 수 있는가?

주요 결과

• 잔차와 기울기 정보를 모두 사용하는 ASM II는 다섯 번째 차원 $d=9$를 가진 고차원 포아송 방정식에서 표준 PINNs와 ASM I보다 더 빠른 수렴성과 유의미하게 낮은 $L^∞$ 오차를 달성한다.
• L-형 포아송 문제에서는 적응형 경계 샘플링을 통한 제안된 방법이 베이스라인 PINN 및 잔차만 사용하는 적응형 샘플링보다 정확도, 안정성 및 효율성 측면에서 향상된 성능을 보였다.
• 압축성 유동 방정식과 버거스 방정식에서, 동일한 수의 잔차 점을 사용할 경우 ASM I 및 ASM II 모두 표준 PINNs를 능가했으며, 특히 ASM II는 더 높은 정확도와 안정성을 보였다.
• ASM II에서 기울기 정보를 사용함으로써 불연속성과 날카운 계면을 더 효과적으로 탐지하고 정밀화할 수 있어 더 나은 해의 해상도를 확보할 수 있었다.
• 고차원 문제에서는 ASM II가 ASM I보다 더 적은 수의 잔차 점으로 더 높은 정확도를 달성하여 더 뛰어난 샘플링 효율성을 보였다.
• 잔차와 기울기 정보를 모두 기반으로 한 적응형 정밀화 전략은 특히 복잡하거나 국소적인 날카운 특징을 가진 문제에서 더 안정적인 학습 과정을 이끌어내었다.

Figure 2: Schematic for the computation of mean value of the absolute value ( $\mathcal{E}$ ) in a sub-domain. Based on the Gaussian quadrature, the $\mathcal{E}$ is calculated as $\mathcal{E}=\frac{1}{x_{c}-x_{b}}\int^{x_{c}}_{x_{b}}|R(x)|dx\approx\frac{1}{x_{c}-x_{b}}\sum^{N}_{i}\omega_{i}|R(x_{i}