[논문 리뷰] Learning to Optimize Multigrid PDE Solvers

Daniel Greenfeld, Meirav Galun외 3명|arXiv (Cornell University)|2019. 02. 25.

Distributed and Parallel Computing Systems인용 수 30

한 줄 요약

이 논문은 공간적으로 변하는 계수를 가진 2차원 확산 PDE 가족에 대해 다중격자 솔버의 최적 연장 연산자를 한 개의 신경망에서 학습하는 딥러닝 프레임워크를 제안한다. 연산자의 대수적 성질을 기반으로 한 비지도 학습을 통해, 메esh 크기, 경계 조건, 계수 분포에 걸쳐 일반화되며, 기존의 블랙박스 다중격자 방법보다 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Constructing fast numerical solvers for partial differential equations (PDEs) is crucial for many scientific disciplines. A leading technique for solving large-scale PDEs is using multigrid methods. At the core of a multigrid solver is the prolongation matrix, which relates between different scales of the problem. This matrix is strongly problem-dependent, and its optimal construction is critical to the efficiency of the solver. In practice, however, devising multigrid algorithms for new problems often poses formidable challenges. In this paper we propose a framework for learning multigrid solvers. Our method learns a (single) mapping from a family of parameterized PDEs to prolongation operators. We train a neural network once for the entire class of PDEs, using an efficient and unsupervised loss function. Experiments on a broad class of 2D diffusion problems demonstrate improved convergence rates compared to the widely used Black-Box multigrid scheme, suggesting that our method successfully learned rules for constructing prolongation matrices.

연구 동기 및 목표

• 새로운 PDE 문제에 대해 효율적인 다중격자 솔버를 구축하는 데 도전하는 것 — 최적의 연장 연산자를 수작업으로 설계하는 것이 어려운 경우를 대비하여.
• 각 새로운 문제나 PDE 인스턴스마다 재학습이 필요한 기존의 학습 기반 PDE 솔버의 한계를 극복하는 것.
• 일반화 가능한 프레임워크를 개발하여, 전체 확산 방정식 가족에 대해 PDE 이산화 결과에서 효과적인 연장 연산자로의 단일 매핑을 학습하는 것.
• 지식 기반 솔루션이나 연산자 요구 없이, 학습된 연산자의 대수적 품질 지표에 기반한 비지도 학습을 통해 훈련을 가능하게 하는 것.
• 훈련 데이터가 제한적이고 소규모일지라도, 문제 크기, 경계 조건, 계수 분포에 걸쳐 일반화 성능을 입증하는 것.

제안 방법

• 2차원 확산 PDE의 이산화 결과(계수 필드로 정의됨)에서 다중격자 솔버에서 사용하는 연장 연산자로 매핑하는 딥 뉴럴 네트워크를 학습한다.
• 다중격자 원리에 기반한 비지도 손실 함수를 사용하며, 특히 연장 연산자의 스무스함과 근사 품질을 목표로 한다.
• 소규모 문제(예: $32 \times 32$)에서 블록 주기적 계수 필드를 사용하여 블록 푸리에 모드 분석을 활용해 효율적으로 학습한다.
• 연장 연산자의 국소적 구조를 활용하여, 더 큰 메쉬(최대 $1024 \times 1024$)와 다른 경계 조건(예: 주기적 대신 딜레르흐 경계 조건)으로의 일반화를 가능하게 한다.
• 테스트 시점에 재학습 없이도 새로운 PDE 인스턴스에 대해 솔버를 생성하기 위해 훈련된 네트워크를 적용하며, 비정사각형 영역과 다른 계수 분포도 포함한다.
• 다른 테스트 문제에서 수렴 인자(다중격자 사이클 당, V-사이클 및 W-사이클)를 사용해 성능을 비교한다.

실험 결과

연구 질문

• RQ1 공간적으로 변하는 계수를 가진 2차원 확산 PDE 가족 전반에 걸쳐, 단일 신경망이 효과적인 연장 연산자를 생성할 수 있는가?
• RQ2 소규모 주기적 문제에서 학습한 모델이 더 큰 메쉬, 다른 경계 조건, 비주기적 계수 분포로까지 일반화될 수 있는 정도는 어느 정도인가?
• RQ3 다중격자 연산자의 대수적 성질에 기반한 비지도 학습이, 블랙박스 방법과 같은 기존 히우리스틱 방법보다 우수한 다중격자 솔버를 도출할 수 있는가?
• RQ4 확산 계수의 분포 이탈(예: 로그정규분포 훈련 vs. 균일분포 테스트)에 대해 학습된 솔버는 얼마나 강건한가?
• RQ5 시간에 의존적인 문제에 관련된 대각선 안정화 항(예: $\varepsilon u$)이 추가된 PDE에 적용했을 때, 이 프레임워크는 성능 향상을 유지할 수 있는가?

주요 결과

• 학습된 다중격자 솔버는 모든 테스트 설정에서 블랙박스 다중격자 방법보다 유의미하게 더 빠른 수렴 속도를 보였다. 이는 $1024 \times 1024$ 메쉬에서도 마찬가지였다.
• 로그정규분포 계수에 대해 W-사이클을 적용했을 때, 네트워크 기반 방법은 $1024 \times 1024$ 테스트 인스턴스의 98%에서 블랙박스 방법을 능가했다.
• 비정사각형 디스크 영역에서, 네트워크 기반 방법은 사이클당 점근적 오차 노름을 $0.1352 \pm 0.0155$(W-사이클)로 줄였고, 블랙박스 방법은 $0.1639 \pm 0.0169$였다.
• 다른 계수 분포(균일분포 대비 로그정규분포 훈련)로 테스트했을 때도 네트워크 기반 방법은 성능 우위를 유지했으며, $1024 \times 1024$ V-사이클의 81%와 W-사이클의 96%에서 블랙박스 방법을 능가했다.
• 추가된 $\varepsilon u$ 항이 있는 대각선 우세 문제에 대해서도 효과적으로 일반화되었으며, $\varepsilon h^2$ 값의 다양한 범위에서 뛰어난 수렴 인자를 유지했다.
• 메쉬 크기가 증가함에 따라 네트워크 기반 방법의 성공률은 안정적이거나 향상되었으며, 이는 소규모 문제에서 훈련했음에도 불구하고 강력한 일반화 능력을 보여준다.