[논문 리뷰] Fourier Neural Operator with Learned Deformations for PDEs on General Geometries

Zongyi Li, Daniel Zhengyu Huang외 2명|arXiv (Cornell University)|2022. 07. 11.

Model Reduction and Neural Networks인용 수 147

한 줄 요약

Geo-FNO는 비정규 물리적 영역에서 비정형 도메인의 변형을 학습하여 Fourier Neural Operator를 임의의 기하에 확장하고, 일반 메쉬에서 FFT 기반 해를 end-to-end 학습으로 가능하게 한다.

ABSTRACT

Deep learning surrogate models have shown promise in solving partial differential equations (PDEs). Among them, the Fourier neural operator (FNO) achieves good accuracy, and is significantly faster compared to numerical solvers, on a variety of PDEs, such as fluid flows. However, the FNO uses the Fast Fourier transform (FFT), which is limited to rectangular domains with uniform grids. In this work, we propose a new framework, viz., geo-FNO, to solve PDEs on arbitrary geometries. Geo-FNO learns to deform the input (physical) domain, which may be irregular, into a latent space with a uniform grid. The FNO model with the FFT is applied in the latent space. The resulting geo-FNO model has both the computation efficiency of FFT and the flexibility of handling arbitrary geometries. Our geo-FNO is also flexible in terms of its input formats, viz., point clouds, meshes, and design parameters are all valid inputs. We consider a variety of PDEs such as the Elasticity, Plasticity, Euler's, and Navier-Stokes equations, and both forward modeling and inverse design problems. Geo-FNO is $10^5$ times faster than the standard numerical solvers and twice more accurate compared to direct interpolation on existing ML-based PDE solvers such as the standard FNO.

연구 동기 및 목표

• FFT 기반 신경 연산자를 비정형 기하 및 비균일 메쉬에 적용하는 문제점을 해결한다.
• 특이적이지 않은 기하를 균일한 잠재 공간으로 변형하는 기하 인식 프레임워크를 개발한다.
• 연산자와 함께 도메인 변형의 엔드투엔드 학습을 가능하게 하여 정확도를 향상시킨다.
• 다양한 PDE(Elasticity, Plasticity, Euler, Navier–Stokes)에서의 순방향 문제 및 역설계를 위한 적용성을 시연한다.

제안 방법

• 물리적 도메인에서 단위 토로스로의 (동일형가능한) 변형을 학습하여 FFT를 잠재 공간에서 적용할 수 있도록 geo-FNO를 도입한다.
• 변형(F_a 및 F_a^{-1})을 적절한 야코비 가중치로 포함하는 순방향 및 역 기하학적 푸리에 변환을 정의한다.
• 변형 맵을 신경망으로 매개화하고 Geo-FNO 연산자와 함께 엔드투엔드로 학습한다.
• 입력 형식으로 포인트 클라우드, 비균일 메쉬, 설계 매개변수를 허용하며, 특수한 경우에는 구조화된 메쉬에서 표준 FNO로 축소된다.
• 스펙트럴 공간에서 활성화 계층이 포함된 푸리에 기반의 글로벌 컨볼루션(K_l)을 사용하여 해 연산자를 근사하고, 위상학이 불규칙한 경우에는 푸리에 연속화를 확장한다.
• 복잡한 도메인을 규칙적인 상위 집합으로 임베드하고 푸리에 연속화를 적용하여 비-홈오고멥 도메인에서의 스펙트럴 해법을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Geo-FNO가 비정형 메쉬를 가진 임의의 기하에서 해 연산자를 정확하게 근사할 수 있는가?
• RQ2 도메인 변형 학습이 보간 기반 또는 고정 변형 접근법에 비해 정확도와 속도를 개선하는가?
• RQ3 Geo-FNO가 순방향 PDE 문제(E elasticity, Plasticity, Euler, Navier–Stokes) 및 역설계 작업에서 어떻게 성능을 보이는가?
• RQ4 전통적 해법 및 기타 ML 기반 PDE 대체물에 비해 계산 이득은 어느 정도인가?
• RQ5 또한 역전달 설계 최적화를 가능하게 하기 위해 엔드투엔드 프레임워크에서 변형을 연산자와 함께 학습할 수 있는가?

주요 결과

모델	Airfoil (training)	Airfoil (testing)	Pipe (training)	Pipe (testing)	Plasticity (training)	Plasticity (testing)
Geo-FNO (learned)	0.0134	0.0138	0.0047	0.0067	0.0071	0.0074
Geo-FNO (R mesh)	0.0308	0.0536
Geo-FNO (O mesh)	0.0344	0.0363
FNO interpolation	0.0314	0.0508
UNet interpolation	0.0089	0.0531

• Geo-FNO는 항공날개 문제에서 전통적인 해법에 비해 최대 1e5배의 속도 향상을 달성한다.
• 학습된 변형을 가진 Geo-FNO는 보간 기반 ML 해법보다 오차가 작고 보고된 테스트에서 그래프 기반 NO 및 DeepONet과 같은 메시 자유 방법보다 우수하다.
• 엔드투엔드 학습 변형은 고정된 R-또는 O-메시에 비해 Elasticity, Pipe flow, Plasticity 문제에서 정확도를 향상시킨다.
• 입력이 구조화된 메쉬인 경우 Geo-FNO는 표준 FNO로 수렴하고 FFT 효율성을 유지하며, 학습된 변형은 주로 비정형 기하에 도움이 된다.
• 추론 시간은 인스턴스당 약 0.01초를 유지하여 FNO의 속도를 유지하면서 기하의 유연성을 확보한다.
• Geo-FNO는 기하 매개변수(예: 날개 스플라인 노드)를 최적화하여 원하는 흐름 특성을 얻는 역설계를 가능하게 하며, 순방향 예측이 최적화를 안내한다.