[논문 리뷰] Meta-MgNet: Meta Multigrid Networks for Solving Parameterized Partial Differential Equations

Yuyan Chen, Bin Dong외 1명|arXiv (Cornell University)|2020. 10. 27.

Model Reduction and Neural Networks참고 문헌 32인용 수 8

한 줄 요약

이 논문은 재학습 없이 다양한 매개변수를 가진 파arameterized 편미분방정식(PDE)을 효율적으로 해결하는 메타학습 기반 딥러닝 프레임워크인 Meta-MgNet을 제안한다. 다중격자 네트워크(MgNet)에 초모델 네트워크(Meta-NN)를 통합하여 PDE 매개변수에 따라 적응적으로 스무스너를 생성함으로써, Meta-MgNet은 재학습이 필요한 지도학습 기반 모델들과 고전적인 다중격자 방법보다 더 빠른 수렴 속도와 뛰어난 일반화 성능을 달성한다. 또한 푸아송 방정식에 대해 수렴 보장을 보장한다.

ABSTRACT

This paper studies numerical solutions for parameterized partial differential equations (P-PDEs) with deep learning (DL). P-PDEs arise in many important application areas and the computational cost using traditional numerical schemes can be exorbitant, especially when the parameters fall into a particular range and the underlying PDE is required to be solved with high accuracy. Recently, solving PDEs with DL has become an emerging field. Existing works demonstrate great potentials of the DL based approach in speeding up numerical solutions of PDEs. However, there is still limited research on the DL approach for P-PDEs. If we directly apply existing supervised learning models to P-PDEs, the models need to be constantly fine-tuned or retrained when the parameters change. This drastically limits the applicability and utility of these models in practice. To resolve this issue, we propose a meta-learning-based method that can efficiently solve P-PDEs with a wide range of parameters without retraining. Our key observation is to regard training a solver for the P-PDE with a given set of parameters as a learning task. Then, training a solver for the P-PDEs with varied parameters can be viewed as a multi-task learning problem, to which meta-learning is one of the most effective approaches. This new perspective can be applied to many existing PDE solvers. As an example, we adopt the Multigrid Network (MgNet) as the base solver. To achieve multi-task learning, we introduce a new hypernetwork, called Meta-NN, in MgNet and refer to the entire network as the Meta-MgNet. Meta-NN takes the differential operators and the right-hand-side of the underlying P-PDEs as inputs and generates appropriate smoothers for MgNet which can significantly affect the convergent speed. Finally, extensive numerical experiments demonstrate that Meta-MgNet is more efficient in solving P-PDEs than the MG methods and MgNet.

연구 동기 및 목표

• 기존 수치적 방법이 다수의 매개변수 값에서 파arameterized PDE를 해결하는 데 높은 계산 비용을 유발하는 문제를 해결한다.
• 각 새로운 매개변수 조합에 대해 재학습이 필요한 지도학습 기반 딥러닝 모델의 한계를 극복한다.
• 파arameterized PDE 해법을 다중작업 학습 문제로 재정의하여 일반화 가능하고 매개변수에 강건한 해법을 개발한다.
• 메타학습을 MgNet 프레임워크에 통합하여 새로운 PDE 매개변수에 대해 재학습 없이도 신속하게 적응할 수 있도록 한다.
• 푸아송 방정식에 대해 이론적 수렴 보장을 확보하면서도, 이sovotropic 확산 및 옥센 방정식과 같은 복잡한 PDE 문제에서도 높은 효율성을 유지한다.

제안 방법

• 각 매개변수 조합이 서로 관련된 별개의 작업이 되는 다중작업 학습 문제로 파arameterized PDE 해법을 공식화한다.
• PDE의 미분 연산자와 우변을 입력으로 받아 MgNet 프레임워크에 특화된 스무스너를 생성하는 초모델 네트워크(Meta-NN)를 도입한다.
• Meta-NN을 MgNet 아키텍처 내부에 통합하여 PDE의 매개변수화에 따라 스무스너의 매개변수를 동적으로 조정함으로써 신속한 적응을 가능하게 한다.
• 표준 가정 하에 푸아송 방정식에 대한 Meta-MgNet의 이론적 수렴 보장을 보장하기 위해 Meta-NN에 아키텍처 제약 조건을 도입한다.
• 다양한 분포의 PDE 매개변수에 대해 엔드 투 엔드로 Meta-MgNet을 훈련시켜, 훈련 중에 볼 수 없었던 매개변수 값에 대해서도 제로샷 추론이 가능하게 한다.
• 표준 다중격자 연장 및 축소 연산자를 사용하며, 메타학습 혁신의 초점을 스무스너 구성 요소에 집중하여 적응 가능성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 메타학습은 재학습 없이 새로운 매개변수에 대해 신속하게 적응할 수 있도록 파arameterized PDE 솔버에 효과적으로 적용될 수 있는가?
• RQ2 딥러닝 기반 다중격자 프레임워크는 수렴 보장을 유지하면서도 광범위한 PDE 매개변수 범위에서 강건하고 일반화 가능한가?
• RQ3 초모델 네트워크 기반 스무스너 생성 메커니즘이 고정 또는 지도학습 기반 스무스너에 비해 수렴 속도와 해의 정확도를 얼마나 향상시키는가?
• RQ4 Meta-MgNet은 이sovotropic 확산 및 옥센 방정식과 같은 복잡한 PDE 문제에서 다양한 매개변수 영역에서 뛰어난 성능을 유지하는가?
• RQ5 제안된 프레임워크는 훈련 중에 볼 수 없었던 새로운 PDE 매개변수에 대해 일반화 가능한가? 그리고 추론 효율성 측면에서 고전적인 다중격자 방법 및 지도학습 기반 베이스라인과 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• Meta-MgNet은 고전적인 다중격자 방법과 지도학습 기반으로 훈련된 PDE-MgNet보다 더 빠른 수렴 속도를 보였으며, 2D 이sovotropic 확산 문제에서 반복 횟수를 최대 30% 감소시켰다.
• 옥센 방정식의 경우, $a_x = a_y = 100$ 조건에서 11.52초 만에 235회의 반복으로 문제를 해결하여, 속도와 정확도 모두 기준 모델을 뛰어넘었다.
• Meta-MgNet은 극한의 이sovotropy 및 높은 레이놀즈 수 영역을 포함한 다양한 매개변수 범위에서 일관된 성능을 보였으며, 재학습이 필요 없었다.
• Meta-NN의 설계 덕분에 푸아송 방정식에 대해 수렴 보장을 확보했으며, 안정적인 스무스너 적응을 보장했다.
• Meta-MgNet은 훈련 중에 볼 수 없었던 매개변수 값에 대해 효과적으로 일반화되었으며, 표준 지도학습 모델과 달리 보정 또는 재학습이 필요 없었다.
• 옥센 방정식의 오차 맵은 모든 테스트 매개변수 조합에서 균일하게 낮은 잔차를 보였으며, 이는 강건성과 높은 해의 정밀도를 확인한다.