[논문 리뷰] A comprehensive and fair comparison of two neural operators (with practical extensions) based on FAIR data

Lu Lu|arXiv (Cornell University)|2021. 11. 09.

Fluid Dynamics and Turbulent Flows참고 문헌 69인용 수 431

한 줄 요약

이 논문은 과학적 머신러닝에서 비선형 연산자를 학습하기 위해 DeepONet과 푸리에 신경 연산자(FNO)의 포괄적이고 공정한 비교를 제시한다. 복잡한 기하학적 구조와 노이즈가 있는 데이터에서 정확도와 강건성을 향상시키기 위해 실용적인 확장 기법—POD-DeepONet, dFNO+, 및 특징 확장—을 도입한다. 주요 발견은 FNO가 노이즈에 매우 민감하며(예: 0.1% 노이즈 시 오차가 10,000배 증가), 반면 DeepONet는 강건성을 유지한다는 점으로, 이는 FNO가 불안정한 매핑을 학습할 수 있음을 시사한다.

ABSTRACT

Neural operators can learn nonlinear mappings between function spaces and offer a new simulation paradigm for real-time prediction of complex dynamics for realistic diverse applications as well as for system identification in science and engineering. Herein, we investigate the performance of two neural operators, which have shown promising results so far, and we develop new practical extensions that will make them more accurate and robust and importantly more suitable for industrial-complexity applications. The first neural operator, DeepONet, was published in 2019 (Lu et al., 2019), and its original architecture was based on the universal approximation theorem of Chen & Chen (1995). The second one, named Fourier Neural Operator or FNO, was published in 2020, and it is based on parameterizing the integral kernel in the Fourier space. DeepONet is represented by a summation of products of neural networks (NNs), corresponding to the branch NN for the input function and the trunk NN for the output function; both NNs are general architectures, e.g., the branch NN can be replaced with a CNN or a ResNet. According to Kovachki et al. (2021), FNO in its continuous form can be viewed conceptually as a DeepONet with a specific architecture of the branch NN and a trunk NN represented by a trigonometric basis. In order to compare FNO with DeepONet computationally for realistic setups, we develop several extensions of FNO that can deal with complex geometric domains as well as mappings where the input and output function spaces are of different dimensions. We also develop an extended DeepONet with special features that provide inductive bias and accelerate training, and we present a faster implementation of DeepONet with cost comparable to the computational cost of FNO, which is based on the Fast Fourier Transform. Here we consider 16 different benchmarks to demonstrate the relative performance of the two neural operators, including instability wave analysis in hypersonic boundary layers, prediction of the vorticity field of a flapping airfoil, porous media simulations in complex-geometry domains, etc. We follow the guiding principles of FAIR (Findability, Accessibility, Interoperability, and Reusability) for scientific data management and stewardship. The performance of DeepONet and FNO is comparable for relatively simple settings, but for complex geometries the performance of FNO deteriorates greatly. We also compare theoretically the two neural operators and obtain similar error estimates for DeepONet and FNO under the same regularity assumptions.

연구 동기 및 목표

• 다양하고 산업적으로 관련성이 있는 PDE 벤치마크를 기반으로 DeepONet와 FNO 간의 체계적이고 공정한 비교를 수행하기 위해.
• FNO의 복잡한 기하학적 구조 및 입력-출력 차원 불일치 처리 능력에 대한 한계를 해결하기 위해 새로운 확장 기법(dFNO+, gFNO+)을 제안하기 위해.
• POD 기반 트렁크 네트워크와 특징 확장을 통해 DeepONet의 학습 속도와 정확도를 향상시키기 위해.
• 측정 불확실성이 있는 실세계 상황에서 노이즈에 대한 강건성과 일반화 성능을 평가하기 위해.
• 동일한 정규성 가정 하에 이론적 비교를 수행하여 두 모델이 동일한 오차 추정치를 가짐을 보여주기 위해.

제안 방법

• 복잡한 기하학적 구조와 서로 다른 입력-출력 함수 공간 차원을 다룰 수 있도록 dFNO+ 및 gFNO+ 확장을 제안하였다.
• 학습 데이터로부터 추출한 고유직교분해(POD) 모드로 트렁크 네트워크를 대체하여 정확도를 향상시킨 POD-DeepONet를 도입하였다.
• 유도적 편향을 강화하고 수렴 속도를 향상시키기 위해 특징 확장을 DeepONet에 적용하였다.
• 빠른 푸리에 변환을 활용한 더 빠른 DeepONet 구현을 개발하여 FNO의 계산 비용을 근사하였다.
• 정적인 및 비정적인 PDE에 걸쳐 16개의 다양한 벤치마크(초음속 경계층, 진동하는 날개, 다공성 매체 유동 등)를 사용하였다.
• 이론적 분석을 통해 FNO의 연속형 표현은 삼각함수 기저와 고정된 아키텍처를 가진 DeepONet의 특수한 경우임을 확인하였다.

실험 결과

연구 질문

• RQ1 복잡한 기하학적 구조와 노이즈가 있는 입력 데이터를 포함한 현실적인 조건에서 DeepONet와 FNO는 어떻게 성능을 발휘하는가?
• RQ2 FNO는 서로 다른 차원의 함수 공간 간 매핑과 비정규 영역을 다룰 수 있도록 확장될 수 있는가?
• RQ3 DeepONet는 FNO에 비해 높은 수준의 입력 노이즈 상황에서도 강건성을 유지하는가?
• RQ4 동일한 정규성 조건 하에서 DeepONet와 FNO 간에 공유되는 이론적 오차 한계는 무엇인가?
• RQ5 POD 및 특징 확장과 같은 실용적 확장 기법이 일반화 성능과 학습 효율성 향상에 상당한 기여를 할 수 있는가?

주요 결과

• 0.1% 가우시안 노이즈가 첨가된 불안정성 파동 분석에서 FNO의 오차는 10,000배 증가하여 기능을 상실하였고, 반면 DeepONet는 성능 저하가 거의 없었다.
• 10개의 학습 샘플로 비정적인 캐비티 유동 문제에서 POD-DeepONet는 0.18±0.02%의 최저 오차를 기록하여 모든 다른 방법을 압도했다.
• 90개의 학습 샘플로 비정적인 캐비티 유동 문제에서 dFNO+와 POD-DeepONet는 각각 1.51% 및 1.78%의 상대 L2 오차를 기록하였으며, 특징 확장을 적용한 결과였다.
• 단지 10개의 학습 샘플로도 특징 확장을 적용한 DeepONet는 비정적인 캐비티 유동 문제에서 2.24%의 상대 오차를 기록하여 강력한 일반화 성능을 입증했다.
• 이론적 분석을 통해 FNO의 연속형 표현은 삼각함수 기저와 고정된 브랜치 네트워크를 가진 DeepONet의 특수한 경우임을 확인하였다.
• 부드럽고 단순한 설정에서는 두 모델이 유사한 정확도를 보였지만, 노이즈가 있는 상황과 복잡한 기하학적 구조에서 DeepONet는 훨씬 뛰어난 강건성을 보였다.