[논문 리뷰] Learning Algebraic Multigrid Using Graph Neural Networks

Ilay Luz, Meirav Galun외 3명|arXiv (Cornell University)|2020. 03. 12.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 그래프 신경망(GNN) 기반 프레임워크를 제안하여 희박한 대칭 정부정(또는 준정부정) 선형 시스템에 대해 비모수적 메시지 전달 학습을 통해 대수적 멀티그리드(AMG) 연장 연산자를 학습한다. 이 방법은 문제 크기, 구조, 분포에 걸쳐 일반화되며, 스펙트럼 클러스터링, 편미분방정식(PDEs), 그래프 라플라시안 문제에서 고전적 AMG보다 더 빠른 수렴을 달성한다.

ABSTRACT

Efficient numerical solvers for sparse linear systems are crucial in science and engineering. One of the fastest methods for solving large-scale sparse linear systems is algebraic multigrid (AMG). The main challenge in the construction of AMG algorithms is the selection of the prolongation operator -- a problem-dependent sparse matrix which governs the multiscale hierarchy of the solver and is critical to its efficiency. Over many years, numerous methods have been developed for this task, and yet there is no known single right answer except in very special cases. Here we propose a framework for learning AMG prolongation operators for linear systems with sparse symmetric positive (semi-) definite matrices. We train a single graph neural network to learn a mapping from an entire class of such matrices to prolongation operators, using an efficient unsupervised loss function. Experiments on a broad class of problems demonstrate improved convergence rates compared to classical AMG, demonstrating the potential utility of neural networks for developing sparse system solvers.

연구 동기 및 목표

• 문제에 특화된 히وري스틱에 의존하지 않고 데이터 기반 프레임워크를 개발하여 AMG 연장 연산자를 학습하는 것.
• 비정규 구조의 그래프와 다양한 문제 크기를 포함한 다양한 희박한 대칭 정부정(또는 준정부정) 행렬에 대해 일반화하는 것.
• 단일 GNN 모델을 사용해 전체 행렬 클래스를 효과적인 연장 연산자로 매핑하는 데 목표를 두고 비지도 손실을 통한 학습.
• LOBPCG와 같은 반복 해법의 수렴 속도를 향상시키기 위해 더 나은 연장 행렬을 학습하는 것.
• 선형 시스템 해법에서 분포, 구조, 차원에 걸쳐 이식 가능성을 보장하는 것.

제안 방법

• 희박한 행렬 A를 그래프 GA = (VA, EA)로 표현하며, 노드는 변수에 대응하고, 간선은 비영인 행렬 원소 Aij를 가중치와 함께 포함한다.
• 메시지 전달 아키텍처를 가진 그래프 신경망을 사용해 입력 그래프 특징에서 연장 연산자 P를 예측한다.
• 일반화된 메시지 전파를 위해 노드 및 간선 특징(예: one-hot 인코딩 및 인코더 출력 포함)을 통합한다.
• 레이블이 없는 데이터를 피하기 위해, 굴곡된 격자 근사에서 오차 감소를 최소화하는 비지도 손실 함수를 사용해 GNN을 학습한다.
• 지역적으로 비정규적인 문제에서 효율적인 학습을 가능하게 하기 위해 블록-주기적 삼각형 메esh에 대해 새로운 푸리에 분석을 적용한다.
• LOBPCG를 굴곡된 격자 해법으로 사용하는 W-사이클 멀티그리드 솔버를 적용하며, 잔여 오차 허용 오차 기준으로 수렴도 평가.

실험 결과

연구 질문

• RQ1 단일 GNN 모델이 다양한 희박한 대칭 정부정(또는 준정부정) 행렬에 걸쳐 일반화되며 효과적인 연장 연산자를 학습할 수 있는가?
• RQ2 다양한 문제 유형에서 학습된 AMG 솔버의 수렴 속도는 고전적 AMG와 비교해 어떻게 되는가?
• RQ3 GNN이 예측되지 않은 문제 크기, 분포, 그래프 구조에 얼마나 잘 일반화되는가?
• RQ4 메시지 전달 깊이, 특징 연결, one-hot 지표 등 아키텍처 구성 요소 중 성능에 가장 중요한 것은 무엇인가?
• RQ5 블록-순환 행렬에서의 비지도 학습이 실제 문제에 대해 일반화 가능하고 높은 성능을 보이는 연장 연산자를 제공할 수 있는가?

주요 결과

• 1,000개 점을 가진 두 가우시안 스펙트럼 클러스터링 문제에서, GNN 기반 AMG 솔버는 고전적 AMG 대비 LOBPCG 반복 수를 평균 14.2% 감소시켰다.
• 10,000개 점 문제에서는 평균 10.2%의 반복 수 감소를 기록하여 확장성과 일반화 능력을 입증했다.
• 분포에 걸친 일반화가 효과적으로 이루어졌으며, 두 가우시안, 다섯 가우시안, 반달 모양, 동심 원 문제에서 고전적 AMG 반복 수의 85.8%에서 94.2%까지 도달했다.
• 절단 실험 결과, 메시지 전달 레이어 수를 줄이면 성공률이 79%에서 63%로 감소하여 아키텍처 깊이에 매우 민감한 것으로 나타났다.
• 노드 및 간선의 one-hot 지표를 제거하면 성능이 68% 성공률로 떨어져, 특징 표현에서의 중요성을 입증했다.
• 3D 두 가우시안 문제에서 모델은 CAMG 반복 수의 89.5%를 유지했으며, 5-NN 및 3D 변형 문제에서도 성능을 유지해 구조 변화에 대한 강건성을 확인했다.