[논문 리뷰] Rethinking Graph Neural Networks for the Graph Coloring Problem

Wei Li, Ruxuan Li외 4명|arXiv (Cornell University)|2022. 08. 15.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 표준 AC-GNN가 국소적 인도적 편향과 이종성( heterophily)을 다룰 수 없어 그래프 색칠 문제에서 실패한다는 점을 규명함으로써 그래프 신경망(GNNs)을 재고한다. 저자들은 단순한 깊이 강화된 AC-GNN 변종인 GDN을 제안하여 분류 능력과 색상 등변성(color equivariance)을 향상시켜 대규모 산업용 그래프에서 최신 히우리스틱 알고리즘보다 솔루션 품질과 속도 면에서 최대 10배 향상된다.

ABSTRACT

Graph coloring, a classical and critical NP-hard problem, is the problem of assigning connected nodes as different colors as possible. However, we observe that state-of-the-art GNNs are less successful in the graph coloring problem. We analyze the reasons from two perspectives. First, most GNNs fail to generalize the task under homophily to heterophily, i.e., graphs where connected nodes are assigned different colors. Second, GNNs are bounded by the network depth, making them possible to be a local method, which has been demonstrated to be non-optimal in Maximum Independent Set (MIS) problem. In this paper, we focus on the aggregation-combine GNNs (AC-GNNs), a popular class of GNNs. We first define the power of AC-GNNs in the coloring problem as the capability to assign nodes different colors. The definition is different with previous one that is based on the assumption of homophily. We identify node pairs that AC-GNNs fail to discriminate. Furthermore, we show that any AC-GNN is a local coloring method, and any local coloring method is non-optimal by exploring the limits of local methods over sparse random graphs, thereby demonstrating the non-optimality of AC-GNNs due to its local property. We then prove the positive correlation between model depth and its coloring power. Moreover, we discuss the color equivariance of graphs to tackle some practical constraints such as the pre-fixing constraints. Following the discussions above, we summarize a series of rules a series of rules that make a GNN color equivariant and powerful in the coloring problem. Then, we propose a simple AC-GNN variation satisfying these rules. We empirically validate our theoretical findings and demonstrate that our simple model substantially outperforms state-of-the-art heuristic algorithms in both quality and runtime.

연구 동기 및 목표

• 최신 GNN이 이종성 환경에서 그래프 색칠 문제에서 성능이 떨어지는 이유를 조사한다.
• 특히 국소적 인도적 편향과 깊이 제약으로 인해 AC-GNN의 색칠 능력에 한계가 있음을 분석한다.
• 이종성 환경에서 분류 능력이 강하고 색상 등변성을 갖춘 GNN 설계를 위한 이론적 규칙을 수립한다.
• 기존 GNN 및 히우리스틱 알고리즘을 능가하는 간단하고 효과적인 AC-GNN 변종(GDN)을 개발하고 검증한다.

제안 방법

• 저자들은 국소적으로 동일한 노드를 같은 임bedding으로 매핑하는 것보다는, 반드시 다를 수밖에 없는 노드들(예: 연결된 노드들)에 다른 색상을 할당할 수 있는 능력이 GNN의 성능 기준이 되어야 한다고 재정의한다.
• 모델의 깊이가 색칠 능력과 정확한 상관관계를 가진다는 것을 증명하며, 더 깊은 GNN일수록 전반적인 분류 능력이 뛰어나다는 것을 보여준다.
• 동종성 환경에서 흔히 쓰이는 GNN 관행(예: 과도한 스무딩 방지, 더 깊은 아키텍처 선호)을 반전시키는 설계 규칙을 유도한다.
• 구조적 수정을 통해 분류 능력을 향상시키고 색상 등변성을 보장하는 간단한 AC-GNN 변종인 GDN을 제안한다.
• 모델은 지도 학습이 아닌 비지도 학습을 사용하여 노드의 색상을 예측하며, 정답 레이블이 필요하지 않다.
• GNN-GCP, Tabucol, HybridEA와의 비교를 통해 레이아웃, COLOR, Queen 세 가지 데이터셋에서 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 표준 AC-GNN가 동종성 작업에서는 성공했지만 그래프 색칠 문제에서는 왜 실패하는가?
• RQ2 특히 이종성 환경에서 모델의 깊이가 AC-GNN의 색칠 능력에 어떤 영향을 미치는가?
• RQ3 서로 다른 색상을 가져야 하는 노드들을 더 잘 분류할 수 있도록 하는 아키텍처 규칙는 무엇인가?
• RQ4 간단한 AC-GNN 변종이 품질과 효율성 면에서 최신 히우리스틱보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 GDN 모델은 최신 히우리스틱 알고리즘(Tabucol, HybridEA)보다 솔루션 품질과 런타임 면에서 모두 슈퍼어리어어지며, 대규모 그래프에서 최대 10배 빠른 속도를 기록한다.
• 더 깊은 AC-GNN일수록 색칠 능력과 정확한 상관관계를 보이며, 동종성 작업에서 깊이가 과도한 스무딩을 유발한다는 일반적인 믿음과는 정반대이다.
• 광범위하게 사용되는 통합형 AC-GNN인 GCN은 색칠 문제에서 다른 GNN들보다 훨씬 열 劣한 성능을 보이며, 저자들이 제시한 규칙(통합 집합이 이종성 환경에서 성능을 떨어뜨림)을 검증한다.
• GDN은 다른 AC-GNN들보다 훨씬 높은 고정 색상 비율(색상 등변성)을 달성하여 사전 색상 제약에 대한 강건성을 향상시킨다.
• Queen13_13 데이터셋에서 GDN은 충돌 수 33 ± 2를 기록하며 런타임 2.38 ± 0.32초를 소요하여 정확도와 속도 면에서 HybridEA 및 Tabucol을 모두 능가한다.
• 이 방법은 VLSI 설계와 같은 산업 응용 분야에서 흔한 복잡하고 대규모의 그래프에서 뛰어난 성능을 보이며, 특히 COLOR 및 Queen 데이터셋에서 뛰어난 성능을 발휘한다.