[논문 리뷰] Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers

Enrui Zhang, Adar Kahana외 5명|arXiv (Cornell University)|2022. 08. 28.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

HINTS는 편미분방정식(PDE)를 푸는 데서 수렴 속도를 가속화하기 위해 딥 오퍼레이터 네트워크(DeepONet)와 고전적 이완 방법을 융합한 하이브리드 수치 해법을 제안한다. DeepONet은 저주파수 고유모드를 타겟으로 하고, 이완 해법은 고주파수 고유모드를 처리함으로써 HINTS는 다양한 PDE, 차원, 기하구조에서 근사 기계 정밀도에 가까운 정확도를 달성하면서도 상당히 빠른 수렴 속도를 확보한다.

ABSTRACT

Neural networks suffer from spectral bias having difficulty in representing the high frequency components of a function while relaxation methods can resolve high frequencies efficiently but stall at moderate to low frequencies. We exploit the weaknesses of the two approaches by combining them synergistically to develop a fast numerical solver of partial differential equations (PDEs) at scale. Specifically, we propose HINTS, a hybrid, iterative, numerical, and transferable solver by integrating a Deep Operator Network (DeepONet) with standard relaxation methods, leading to parallel efficiency and algorithmic scalability for a wide class of PDEs, not tractable with existing monolithic solvers. HINTS balances the convergence behavior across the spectrum of eigenmodes by utilizing the spectral bias of DeepONet, resulting in a uniform convergence rate and hence exceptional performance of the hybrid solver overall. Moreover, HINTS applies to large-scale, multidimensional systems, it is flexible with regards to discretizations, computational domain, and boundary conditions.

연구 동기 및 목표

• 비대칭 또는 부정정 시스템에서 수렴 속도가 느리고, 저주파수 고유모드에서 성능이 열 劣한 고전적 반복 해법의 한계를 해결하기 위해.
• 기존 수치 해법에서 속도와 정확도 사이의 상충 관계를 극복하기 위해 딥러닝과 기존 이완 기법을 융합함으로써.
• 다양한 PDE와 메esh 분할에 걸쳐 높은 정확도를 유지하면서도 해답 시간을 크게 단축하는 이식 가능한 반복 해법을 개발하기 위해.
• 각각의 새로운 기하구조나 방정식 유형에 맞게 재학습이 필요 없이도 다차원 문제와 복잡한 계산 도메인에서 견고한 성능을 발휘하기 위해.

제안 방법

• PDE 이산화에서 발생하는 선형 시스템을 해결하기 위해 고전적 이완 방법(Gauss-Seidel, Jacobi 등)과 DeepONet을 융합한 하이브리드 반복 프레임워크를 구축한다.
• DeepONet을 사용하여 해 벡터의 보정을 예측하며, 특히 고전적 이완 방법이 잘 해결하지 못하는 저주파수 고유모드를 전용으로 타겟으로 한다.
• 멀티그리드 V-사이클 프레임워크에 DeepONet 예측을 통합하여, 굵은 격자에서의 이완 스윕을 대체하거나 보강한다.
• 일반화를 보장하기 위해 상관 길이가 다른 가우시안 랜덤 필드에서 유래한 무작위 PDE 문제 데이터셋을 기반으로 DeepONet을 학습시킨다.
• 해 벡터 보정을 DeepONet 예측과 고전적 이완 업데이트의 가중 조합으로 구성하는 하이브리드 업데이트 규칙을 적용한다.
• 고유모드 분석을 통해 DeepONet와 이완 방법이 고유모드 스펙트럼의 상보적인 영역에서 작용함을 검증함으로써 스펙트럼 전반에 걸쳐 균일한 수렴을 확보한다.

실험 결과

연구 질문

• RQ1 DeepONet를 고전적 이완 방법과 효과적으로 융합하여 PDE 해법의 수렴 속도를 향상시킬 수 있는가?
• RQ2 하이브리드 HINTS 해법은 표준 해법보다 더 빠른 수렴 속도를 확보하면서도 근사 기계 정밀도(기계 정밀도에 가까운)의 높은 정확도를 유지하는가?
• RQ3 HINTS의 개별 구성 요소인 DeepONet와 이완 방법이 고유모드 스펙트럼 전반에서 어떻게 상호보완적으로 작용하는가?
• RQ4 재학습 없이도 HINTS가 다양한 PDE 유형, 공간 차원, 계산 도메인 간에 얼마나 잘 이식 가능한가?
• RQ5 수렴 속도와 계산 비용 측면에서 DeepONet와 고전적 이완 방법 간의 최적의 균형은 무엇인가?

주요 결과

• HINTS는 1D, 2D, 3D의 포아송 방정식과 헬름홀츠 방정식에서 최신 멀티그리드 해법과 비교해 수렴 속도가 유사하거나 뛰어나며, 뚜렷한 속도 향상이 관찰된다.
• 고유모드 분석을 통해 DeepONet는 저주파수 모드를 효과적으로 타겟으로 하고, 고전적 이완 방법은 고주파수 모드를 처리함을 확인하여 스펙트럼 전반에 걸쳐 균일한 수렴이 이루어짐을 입증한다.
• 모든 테스트 케이스에서 기계 정밀도 수준(약 1e-14) 이내의 정확도를 유지하며, 고전적 반복의 의존도를 줄여도 성능이 유지된다.
• HINTS는 강력한 이식성을 보이며, 한 가지 상관 길이의 랜덤 필드에서 학습된 후에도 다른 상관 길이와 기하구조에 잘 일반화된다.
• 계산 비용 분석 결과, 특히 고차원 및 복잡한 기하구조 문제에서 HINTS는 표준 멀티그리드 해법과 DeepONet 전용 해법보다 해답에 이르는 반복 횟수 측면에서 뛰어난 성능을 보인다.
• 하나의 하위간격 수와 학습 데이터 크기의 변화에 관계없이 수렴 안정성이 유지되며, DeepONet 사용 비율을 조정해도 수렴 성능이 유지된다.