[논문 리뷰] Operator Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations Characterized by Sharp Solutions

Bin Lin, Zhiping Mao외 2명|arXiv (Cornell University)|2023. 10. 30.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 부드러운 해를 위한 사전 훈련된 DeepONet과 PINN을 결합하여 날카로운 해를 가진 PDE를 해결하는 Operator Learning Enhanced Physics-informed Neural Networks (OL-PINN)을 제안한다. 연속적인 해를 위한 연산자 학습을 통해 PINN를 안내함으로써 OL-PINN는 잔차 점 수를 최소화하면서도 높은 정확도와 안정성을 달성하여, 고레이놀즈 수 나비에-스토크스 방정식 및 버거스 방정식과 같은 도전적인 문제에서 기존 PINN보다 뛰어난 성능을 보인다.

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown as a promising approach for solving both forward and inverse problems of partial differential equations (PDEs). Meanwhile, the neural operator approach, including methods such as Deep Operator Network (DeepONet) and Fourier neural operator (FNO), has been introduced and extensively employed in approximating solution of PDEs. Nevertheless, to solve problems consisting of sharp solutions poses a significant challenge when employing these two approaches. To address this issue, we propose in this work a novel framework termed Operator Learning Enhanced Physics-informed Neural Networks (OL-PINN). Initially, we utilize DeepONet to learn the solution operator for a set of smooth problems relevant to the PDEs characterized by sharp solutions. Subsequently, we integrate the pre-trained DeepONet with PINN to resolve the target sharp solution problem. We showcase the efficacy of OL-PINN by successfully addressing various problems, such as the nonlinear diffusion-reaction equation, the Burgers equation and the incompressible Navier-Stokes equation at high Reynolds number. Compared with the vanilla PINN, the proposed method requires only a small number of residual points to achieve a strong generalization capability. Moreover, it substantially enhances accuracy, while also ensuring a robust training process. Furthermore, OL-PINN inherits the advantage of PINN for solving inverse problems. To this end, we apply the OL-PINN approach for solving problems with only partial boundary conditions, which usually cannot be solved by the classical numerical methods, showing its capacity in solving ill-posed problems and consequently more complex inverse problems.

연구 동기 및 목표

• 날카로운 해나 불연속성을 가진 PDE를 풀 때 기존 PINN의 일반화 능력 부족과 불안정성 문제를 해결한다.
• PINN의 적응형 샘플링과 활성화 함수의 한계를 극복한다. 이는 계산 비용이 높고 불안정한 경향이 있다.
• 경계 조건이 불완전한 경우에도 안정적으로 해를 구할 수 있는 역문제를 해결할 수 있도록 한다. 이는 고전적 수치 해법이 어려운 과제이다.
• 부드러운 점성 해와 날카로운 비점성 해 사이의 渐近적 관계를 활용하여 특이한 특징을 더 잘 학습할 수 있도록 한다.
• DeepONet(연산자 학습)의 강점과 PINN(물리 기반 훈련)의 장점을 결합한 하이브리드 프레임워크를 개발하여 고정밀도 PDE 해를 도출한다.

제안 방법

• 목표 날카로운 해 문제와 관련된 부드럽고 점성 있는 PDE의 가족에 대해 초기 조건에서 해로의 사전 연산자 학습을 위해 DeepONet을 사전 훈련한다.
• 사전 훈련된 DeepONet을 PINN 손실 함수에 대한 인덕티브 바이어스로 활용하여 날카로운 전이를 더 잘 포착할 수 있도록 한다.
• DeepONet의 출력을 PINN 아키텍처에 사전 지식 또는 보조 헤드로 통합하여 전체 네트워크를 재학습하지 않고도 일반화 능력을 향상시킨다.
• 하이브리드 OL-PINN 프레임워크를 정방문제와 역문제 양쪽 모두에 적용하며, 부분적 또는 부족한 경계 조건이 존재하는 경우에도 적용 가능하다.
• 발산이 없는 매개변수화를 통해 직접적으로 물리적 제약 조건(예: 비압축성 조건 $\nabla \cdot \mathbf{u} = 0$)을 신경망 아키텍처에 통합한다.
• 효율적인 훈련을 위해 적응형 공간-시간 잔차 점 샘플링(예: $22 \times 22 \times 20$)과 50,000 에포크 동안의 Adam 옵timizer를 사용한다.

실험 결과

연구 질문

• RQ1 DeepONet를 통한 연산자 학습이 날카로운 해를 가진 PDE를 풀 때 PINN의 일반화 능력과 안정성 향상에 기여하는가?
• RQ2 고레이놀즈 수 나비에-스토크스 방정식 및 버거스 방정식에서 OL-PINN는 기존 PINN에 비해 정확도와 훈련 안정성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 경계 조건이 불완전한 경우에도 OL-PINN는 기존 수치 해법이 실패하는 비정상적인 역문제를 효과적으로 해결할 수 있는가?
• RQ4 초기 훈련된 DeepONet가 비점성 초음속 해를 포착하는 해를 학습하는 데 도움이 되는가? 특히 비점성 초음속 해를 포착하는 해를 학습하는 데에 유용한가?
• RQ5 날카로운 기울기를 가진 문제에서 OL-PINN가 높은 정확도를 달성하기 위해 필요한 최소한의 잔차 점 수는 얼마인가?

주요 결과

• OL-PINN는 케이스 I에서 상대적 $L^2$ 테스트 오차를 $2.21 \pm 0.73\%$로 줄였고, 케이스 II에서는 $2.93 \pm 1.29\%$로 줄였다. 반면 기존 PINN는 $30.16 \pm 71.60\%$의 오차를 보였다.
• 단지 $22 \times 22 \times 20$개의 잔차 점으로도 높은 정확도를 달성하여, 최소한의 지도 학습으로도 강력한 일반화 능력을 입증했다.
• OL-PINN는 적응형 PINN 변종이나 높은 잔차 점 밀도가 필요한 방법에서 흔히 발생하는 수치적 불안정성과는 거리가 있다. 안정적인 훈련을 유지한다.
• 비압축성 조건만 존재하는 주기적 경계 조건이 적용된 비정상적인 문제에서 OL-PINN는 $3.36 \pm 1.05\%$의 오차를 기록했고, 기존 PINN($43.28 \pm 16.52\%$)에 비해 뚜렷한 성능 향상을 보였다.
• 고레이놀즈 수에서 비압축성 나비에-스토크스 방정식과 라이드 드리븐 캐비티 플로우를 정확하게 포착하여 복잡한 소용리스트럭처를 잘 해석했다.
• 사전 훈련된 DeepONet는 강력한 인덕티브 바이어스를 제공하여, 날카로운 특징이 명시적으로 샘플링되지 않은 경우에도 PINN가 효과적으로 일반화할 수 있도록 했다.