[논문 리뷰] One-shot learning for solution operators of partial differential equations

Jiao, Anran, Haiyang He외 3명|arXiv (Cornell University)|2021. 04. 06.

Model Reduction and Neural Networks참고 문헌 13인용 수 4

한 줄 요약

이 논문은 단일 PDE 해를 기반으로 도메인을 작은 부분 도메인으로 분해함으로써, 한 번의 학습(one-shot)으로 PDE 해 연산자를 학습하는 최초의 방법을 제안한다. 메쉬 기반 고정점 반복(FPI) 또는 메쉬프리 국소 해 연산자 정보를 반영한 신경망(LOINN)을 사용하여, 최소한의 데이터로 선형 및 비선형 PDE에 대해 강력한 일반화 성능을 달성하며, 노이즈가 있는 조건에서도 낮은 오차율을 보여준다.

ABSTRACT

Learning and solving governing equations of a physical system, represented by partial differential equations (PDEs), from data is a central challenge in a variety of areas of science and engineering. Traditional numerical methods for solving PDEs can be computationally expensive for complex systems and require the complete PDEs of the physical system. On the other hand, current data-driven machine learning methods require a large amount of data to learn a surrogate model of the PDE solution operator, which could be impractical. Here, we propose the first solution operator learning method that only requires one PDE solution, i.e., one-shot learning. By leveraging the principle of locality of PDEs, we consider small local domains instead of the entire computational domain and define a local solution operator. The local solution operator is then trained using a neural network, and utilized to predict the solution of a new input function via mesh-based fixed-point iteration (FPI), meshfree local-solution-operator informed neural network (LOINN) or local-solution-operator informed neural network with correction (cLOINN). We test our method on diverse PDEs, including linear or nonlinear PDEs, PDEs defined on complex geometries, and PDE systems, demonstrating the effectiveness and generalization capabilities of our method across these varied scenarios.

연구 동기 및 목표

• 단일 해가 존재할 때, 특히 PDE의 형태에 대한 사전 지식이 없는 상황에서 최소한의 데이터로 PDE 해 연산자를 학습하는 데 도전한다.
• 기존의 딥러닝 기반 PDE 학습 방법이 일반적으로 큰 데이터셋이 필요로 하는 데이터 비효율성 문제를 해결한다.
• 단일 기준 해를 이용하여 다양한 초기 조건 및 외력 조건에 대해 잘 일반화되는 방법을 개발한다.
• PDE의 국소성 특성을 활용하여, 새로운 조건에서 스케일이 잘 되고 안정적이며 정확한 해 예측이 가능한 방법을 확보한다.

제안 방법

• 계산 도메인을 작은 국소 부분 도메인으로 분할하여 국소 해 연산자를 학습한다.
• 신경망을 학습시켜 각 부분 도메인 내의 중심점에서의 해를 국소 경계 조건 및 외력 항의 값으로 매핑한다.
• 메쉬 기반 고정점 반복(FPI)을 사용하여 전역 경계 조건 및 초기 조건을 반복적으로 강제로 적용하면서 국소 PDE 제약 조건을 만족시킨다.
• 무작위로 샘플된 점을 사용하여 안정성과 강건성을 향상시킨 두 가지 메쉬프리 변형—LOINN 및 cLOINN—을 도입한다.
• 기준 외력 함수와 그에 해당하는 해를 선택하여 해 연산자 학습 문제를 one-shot 문제로 재구성한다.
• 정규 및 비정규 메쉬 상의 선형 및 비선형 PDE, 즉 확산 방정식과 비선형 확산-반응 방정식에 대해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 PDE의 형태에 대한 사전 지식 없이 단일 해만으로도 PDE의 해 연산자를 정확하게 학습할 수 있는가?
• RQ2 국소 도메인의 크기 및 구조 선택이 해 예측의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 조건에서 메쉬프리 LOINN 및 cLOINN 방법이 메쉬 기반 고정점 반복보다 안정성과 강건성 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 특히 노이즈 수준이 증가함에 따라, 새로운 외력 함수에 대해 기준 해 근처에서의 일반화 성능은 어떠한가?
• RQ5 메esh 해상도가 one-shot 국소 해 연산자 학습 성능에 어떤 영향을 미치는가?

주요 결과

• 4개 노드로 구성된 국소 도메인을 가진 선형 확산 방정식의 경우, FPI 및 cLOINN는 노이즈 수준 $\sigma = 0.10$일 때 상대 $L^2$ 오차가 1.5% 이하로 낮아졌으며, LOINN보다 뛰어난 성능을 보였다.
• 6개 노드로 구성된 국소 도메인의 경우 FPI는 발산했지만, cLOINN는 $\sigma = 0.50$일 때도 안정적인 성능을 유지하며 오차가 3.5% 이하로 유지되어 뛰어난 강건성을 입증했다.
• 비선형 확산-반응 방정식의 경우, 조밀한 그리드(21×21)에서도 상대 $L^2$ 오차가 약 10% 수준에 머물러 강력한 일반화 성능을 보였다.
• 노이즈 수준($\sigma$)이 높아질수록 오차는 증가했지만, 모든 방법이 안정적이고 예측 가능한 성능을 유지했으며, cLOINN가 가장 일관된 성능을 보였다.
• 다양한 테스트 케이스에서 $f = 0.9\sin(2\pi x) + \Delta f$ 형태의 새로운 외력 함수에 대해 효과적으로 일반화되었으며, 실제 문제에 대한 편향이 있는 상황에서도 적용 가능성을 확인했다.
• 비선형 및 고노이즈 환경에서 LOINN 및 cLOINN는 FPI에 비해 더 뛰어난 안정성을 보였으며, 메쉬프리 및 신경망 기반 결합 방식의 우수성을 입증했다.