[논문 리뷰] Graph Partitioning and Sparse Matrix Ordering using Reinforcement Learning and Graph Neural Networks

Alice Gatti, Zhixiong Hu외 3명|arXiv (Cornell University)|2021. 04. 08.

VLSI and FPGA Design Techniques인용 수 7

한 줄 요약

이 논문은 그래프 신경망과 SAGE 레이어를 사용한 딥 강화학습 접근법을 제안하여 그래프 분할 및 정점 분리 문제를 해결하며, METIS 및 SCOTCH 수준의 분할 품질을 달성한다. 이 방법은 다양한 그래프에 대해 잘 일반화되며, 내부 분해 순서에 적용될 경우 흐린 행렬 인수분해에서 메모리 오염을 감소시켜 최소 차수 순서화를 능가하고 SCOTCH 성능과도 맞먹는다.

ABSTRACT

We present a novel method for graph partitioning, based on reinforcement learning and graph convolutional neural networks. Our approach is to recursively partition coarser representations of a given graph. The neural network is implemented using SAGE graph convolution layers, and trained using an advantage actor critic (A2C) agent. We present two variants, one for finding an edge separator that minimizes the normalized cut or quotient cut, and one that finds a small vertex separator. The vertex separators are then used to construct a nested dissection ordering to permute a sparse matrix so that its triangular factorization will incur less fill-in. The partitioning quality is compared with partitions obtained using METIS and SCOTCH, and the nested dissection ordering is evaluated in the sparse solver SuperLU. Our results show that the proposed method achieves similar partitioning quality as METIS and SCOTCH. Furthermore, the method generalizes across different classes of graphs, and works well on a variety of graphs from the SuiteSparse sparse matrix collection.

연구 동기 및 목표

• 딥 강화학습과 그래프 신경망을 사용한 확장 가능하고 미분 가능한 그래프 분할 방법 개발
• SuperLU와 같은 직접 해법기에서의 흐린 행렬 순서화 향상으로 인한 메모리 오염 감소
• 다양한 그래프 유형과 크기, 특히 훈련 데이터에 포함되지 않은 큰 그래프에 대한 일반화 가능성 확보
• METIS 및 SCOTCH와 같은 전통적 휴리스틱 기법을 대체하거나 보완할 수 있는 학습 가능한, 하드웨어 효율적인 대안 제공

제안 방법

• 그래프 표현의 재귀적 군집화 및 정밀화를 포함한 다수준 프레임워크 사용
• 노드 특징을 인코딩하고 분할 결정을 안내하기 위해 SAGE 그래프 컨volution 네트워크 활용
• 정규화된 컷 또는 몫 컷 메트릭을 최적화하기 위해 이점 운동가치 기반의 A2C 에이전트 훈련
• 엣지 이등분과 정점 분리 계산에 모두 적용하며, 후자는 내부 분해에 사용됨
• 정점 분리를 통해 LU 인수분해 중 메모리 오염을 최소화하는 행렬 순서 생성
• SuiteSparse 및 데라운레이 삼각분할에서 온 흐린 행렬을 사용해 SuperLU로 성능 평가

실험 결과

연구 질문

• RQ1 강화학습 기반 GNN 접근법이 다양한 그래프에서 METIS 및 SCOTCH 수준의 분할 품질을 달성할 수 있는가?
• RQ2 훈련 분포를 초월한 더 큰, 새로운 그래프에 대해 이 방법의 일반화 능력은 어느 정도인가?
• RQ3 학습된 정점 분리 방법이 효과적인 내부 분해 순서를 생성하여 흐린 직접 해법기에서 메모리 오염을 줄일 수 있는가?
• RQ4 이 방법은 다양한 흐린 패턴을 가진 실제 흐린 행렬에서 효율적으로 스케일업하고 잘 작동하는가?
• RQ5 메모리 오염 감소 측면에서 최소 차수 순서화를 능가하거나 그 성능을 따라잡을 수 있는가?

주요 결과

• 제안된 DRL 기반 분할 방법은 최대 90,000 노드를 가진 그래프에서 METIS 및 SCOTCH와 유사한 정규화 컷 및 엣지 컷 값을 달성한다.
• 이 방법은 SuiteSparse 컬렉션의 다양한 흐린 패턴을 가진 더 큰 그래프에 대해 효과적으로 일반화된다.
• 흐린 행렬 인수분해에서 DRL 기반 내부 분해는 COLAMD보다 더 효과적으로 메모리 오염을 감소시키며, SCOTCH 성능과도 맞먹는다.
• DRL 기반 순서화는 METIS ND보다 略히 열등하지만 모든 테스트 케이스에서 높은 품질의 결과를 달성한다.
• 훈련 중에 볼 수 없었던 그래프, 특히 2D/3D 유한요소 이산화 및 데라운레이 삼각분할에 대해서도 모델이 잘 일반화된다.
• 현대 하드웨어와 효율적인 메모리 액세스 패턴을 고려할 때 고성능 컴퓨팅 워크로드에 대한 잠재력이 있다.