[논문 리뷰] Optimization-Based Algebraic Multigrid Coarsening Using Reinforcement Learning

Ali Taghibakhshi, Scott MacLachlan외 2명|arXiv (Cornell University)|2021. 06. 03.

Elevator Systems and Control인용 수 9

한 줄 요약

이 논문은 비정형 평면 격자에서 2차원 푸아송 문제를 위한 대수적 멀티그리드(AMG) 굴곡을 최적화하기 위해 그래프 신경망을 사용하는 강화학습(RL) 프레임워크를 제안한다. 이 방법은 작은 격자에서 RL 에이전트를 훈련시켜 선형 시간 복잡도로 더 큰, 볼 수 없는 그래프를 굴곡시키며, 이론적 상한선의 96.4%에 해당하는 뛰어난 굴곡 격자 품질을 달성한다. 이는 히ュ리스틱 방법인 탐욕 알고리즘보다 F-분수 측면에서 51.5% 높은 성능을 보이며, 멀티그리드 수렴 보장을 유지한다.

ABSTRACT

Large sparse linear systems of equations are ubiquitous in science and engineering, such as those arising from discretizations of partial differential equations. Algebraic multigrid (AMG) methods are one of the most common methods of solving such linear systems, with an extensive body of underlying mathematical theory. A system of linear equations defines a graph on the set of unknowns and each level of a multigrid solver requires the selection of an appropriate coarse graph along with restriction and interpolation operators that map to and from the coarse representation. The efficiency of the multigrid solver depends critically on this selection and many selection methods have been developed over the years. Recently, it has been demonstrated that it is possible to directly learn the AMG interpolation and restriction operators, given a coarse graph selection. In this paper, we consider the complementary problem of learning to coarsen graphs for a multigrid solver, a necessary step in developing fully learnable AMG methods. We propose a method using a reinforcement learning (RL) agent based on graph neural networks (GNNs), which can learn to perform graph coarsening on small planar training graphs and then be applied to unstructured large planar graphs, assuming bounded node degree. We demonstrate that this method can produce better coarse graphs than existing algorithms, even as the graph size increases and other properties of the graph are varied. We also propose an efficient inference procedure for performing graph coarsening that results in linear time complexity in graph size.

연구 동기 및 목표

• 최적의 AMG 굴곡 문제를 해결하기 위해, 이는 솔버의 효율성과 안정성에 핵심적인 영향을 미친다.
• 학습이 가능하고 확장 가능하며 이론적으로 탄탄한 굴곡 방법을 개발하여 훈련 격자를 초월해 일반화할 수 있도록 한다.
• 히ュ리스틱 굴곡 방법의 한계를 극복하기 위해, 예를 들어 탐욕 알고리즘은 큰 또는 복잡한 격자에서 성능이 떨어진다.
• 결과로 얻어진 멀티그리드 솔버의 이론적 수렴을 보장하면서 동시에 선형 시간 복잡도의 추론을 가능하게 한다.
• RL이 수렴 인자에 직접 최적화하지 않더라도, 전통적인 히ュ리스틱보다 F-분수 및 수렴 행동 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• AMG 굴곡을 순차적 의사결정 문제로 모델링하여 마코프 결정 과정(MDP)으로 간주하고, RL 에이전트가 단계적으로 굴곡 노드를 선택한다.
• 굴곡 품질 기반의 조밀하고 희소적이며 구조적인 보상 함수를 최대화하기 위해, 토폴로지 적응형 그래프 컨volution 레이어(TAGCN)를 갖춘 듀얼 듀얼-DQN 에이전트를 훈련시킨다.
• 굴곡 과정은 [17]에서 제안한 최적화 프레임워크에 따라, 인터폴레이션 품질과 멀티그리드 수렴을 보장하는 제약 조건을 정의한다.
• 추론 중에 그래프 분해 알고리즘을 사용하여 노드를 토폴로지 순서로 처리함으로써 선형 시간 굴곡을 가능하게 한다.
• 에이전트는 작은 평면 격자(예: 10×10에서 50×50)에서 훈련되며, 유한한 노드 차수를 갖는 비정형 격자, 즉 최대 120만 개 노드까지의 대규모 격자로 일반화된다.
• 이 방법은 결과 멀티그리드 솔버의 수렴을 보장한다(정리 3)와 함께 그래프 크기에 대해 선형 시간 복잡도를 달성한다(정리 2).

실험 결과

연구 질문

• RQ1 소규모 평면 격자에서 훈련된 강화학습 에이전트가 노드 차수에 제한이 있는 큰 비정형 격자를 유지하면서도 고품질의 굴곡 표현을 생성할 수 있는가?
• RQ2 RL 기반 굴곡 방법이 F-분수 및 멀티그리드 수렴 측면에서 기존 히ュ리스틱 방법(예: 탐욕 알고리즘)을 초월하는가?
• RQ3 이러한 방법이 그래프 크기에 대해 선형 시간 복잡도를 달성하면서도 AMG 솔버의 이론적 수렴 보장을 유지할 수 있는가?
• RQ4 격자 크기와 구조적 복잡도(예: 높은 종횡비 요소 또는 변동하는 노드 차수) 증가에 따라 RL 에이전트의 성능은 어떻게 변화하는가?
• RQ5 현재 2차원 푸아송 문제에 특화되어 있지만, RL 방법이 이 외 문제로의 일반화 정도는 어느 정도인가?

주요 결과

• 구조적 격자에서 RL 굴곡 방법은 이론적 상한선의 F-분수에 대해 96.4%를 달성하여, 탐욕 기반 기준선(44.9% 상한선)보다 뚜렷이 뛰어난 성능을 보였다.
• 구조적 격자에서 RL 방법은 탐욕 방법 대비 F-분수를 51.5% 향상시켰으며, 격자 크기가 증가할수록 성능 향상이 더욱 두드러졌다.
• 비정형 격자에서는 높은 종횡비(최대 180)와 변동하는 노드 차수를 갖는 다양한 가족의 격자에서 RL 방법이 탐욕 방법을 일관되게 뛰어넘었다.
• 평가 시간은 격자 크기에 따라 선형적으로 증가하여 이론적 선형 시간 복잡도(정리 2)를 확인했으며, 120만 노드 격자도 효율적으로 굴곡되었다.
• 수렴에 직접 최적화하지 않았음에도 불구하고, RL 굴곡 격자를 사용한 이중 레벨 멀티그리드 솔버는 탐욕 굴곡 격자를 사용한 경우와 비교해 유사하거나 더 낮은 효과적 수렴 인자를 보였다.
• 이 방법은 수렴 가능한 멀티그리드 솔버를 보장한다(정리 3)로, 더 큰, 볼 수 없는 격자로 일반화할 경우에도 이론적 안정성을 확보한다.