[논문 리뷰] Approximation Ratios of Graph Neural Networks for Combinatorial Problems

Ryoma Sato, Makoto Yamada외 1명|arXiv (Cornell University)|2019. 05. 24.

Advanced Graph Neural Networks참고 문헌 29인용 수 16

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 사용한 조합 최적화 문제의 근사화를 위한 최초의 이론적 프레임워크를 수립한다. 여기서 가장 강력한 GNN 모델인 CPNGNNs가 최소 독립 집합 문제에 대해 $(\Delta+1)$의 최적 근사 비율을, 최소 정점 덮개 문제에 대해 2의 최적 근사 비율을 달성함을 보여준다. GNN을 분산 국소 알고리즘과 연결함으로써 연구는 특징 공학 기법 중 약한 색칠(weak coloring)이 이러한 비율을 향상시킬 수 있음을 증명하며, 사전 처리가 모델의 능력을 이론적으로 향상시킬 수 있음을 보여준다.

ABSTRACT

In this paper, from a theoretical perspective, we study how powerful graph neural networks (GNNs) can be for learning approximation algorithms for combinatorial problems. To this end, we first establish a new class of GNNs that can solve a strictly wider variety of problems than existing GNNs. Then, we bridge the gap between GNN theory and the theory of distributed local algorithms. We theoretically demonstrate that the most powerful GNN can learn approximation algorithms for the minimum dominating set problem and the minimum vertex cover problem with some approximation ratios with the aid of the theory of distributed local algorithms. We also show that most of the existing GNNs such as GIN, GAT, GCN, and GraphSAGE cannot perform better than with these ratios. This paper is the first to elucidate approximation ratios of GNNs for combinatorial problems. Furthermore, we prove that adding coloring or weak-coloring to each node feature improves these approximation ratios. This indicates that preprocessing and feature engineering theoretically strengthen model capabilities.

연구 동기 및 목표

• GNN이 NP-난해한 조합 최적화 문제를 얼마나 잘 근사할 수 있는지에 대한 이론적 한계를 설정하는 것.
• GNN 이론과 분산 국소 알고리즘 이론을 연결하여 GNN 능력에 대한 공식적 분석을 가능하게 하는 것.
• 가장 강력한 GNN 클래스인 CPNGNNs를 특정하고, 주요 문제들에 대해 그 근사 비율을 규명하는 것.
• 특히 약한 색칠과 같은 노드 특징 공학이 GNN의 근사 성능을 향상시키는 방식을 조사하는 것.

제안 방법

• 기존 모델보다 더 강력한 표현 능력을 지닌 새로운 GNN 클래스인 VV${}_{\text{C}}$-GNNs를 도입한다.
• VV${}_{\text{C}}$-GNNs와 분산 국소 알고리즘 사이의 등가성을 확립하여 이론적 분석을 가능하게 한다.
• 최고의 표현 능력을 지닌 GNN 하위 클래스인 CPNGNNs를 제안하며, 최적의 근사 비율을 달성한다.
• 일관된 포트 번호와 노드 특징(도수, 약한/2색칠)을 사용하여 GNN의 표현 능력을 향상시킨다.
• 기존의 분산 알고리즘 결과에 대한 감소를 통해 근사 비율을 분석한다.
• 다양한 특징 설정 하에서 달성 가능한 근사 비율의 하한을 증명한다.

실험 결과

연구 질문

• RQ1 GNN이 NP-난해한 조합 최적화 문제를 근사할 수 있는 이론적 상한 근사 비율은 무엇인가?
• RQ2 GNN은 그래프 문제를 해결하는 데 있어 분산 국소 알고리즘과 어떻게 비교되는가?
• RQ3 약한 색칠과 같은 특징 공학이 GNN의 근사 능력을 향상시킬 수 있는가?
• RQ4 최적의 근사 비율을 달성하기 위해 필요한 최소한의 특징 집합은 무엇인가?
• RQ5 GNN은 최대 매칭 문제를 해결할 수 있으며, 만약 가능하다면 어떤 근사 비율로 해결할 수 있는가?

주요 결과

• CPNGNNs는 최소 독립 집합 문제에 대해 $(\Delta+1)$-근사 비율을 달성하며, 이는 GNN 내에서 최적이다.
• CPNGNNs는 최소 정점 덮개 문제에 대해 2-근사 비율을 달성하며, 가장 잘 알려진 근사 알고리즘과 동일한 성능을 보인다.
• 노드 특징으로 약한 2색칠을 사용할 경우, CPNGNNs는 최소 독립 집합 근사 비율을 $(\frac{\Delta+1}{2})$로 향상시킨다.
• 최대 매칭 문제의 경우, CPNGNNs는 약한 2색칠 특징을 사용하여 $(\frac{\Delta+1}{2})$-근사 비율을 달성한다.
• 약한 2색칠 대신 2색칠을 사용할 경우, CPNGNNs는 이분 그래프에서 최대 매칭 문제에 대해 임의의 근사 비율 $\alpha > 1$을 달성할 수 있지만, 이는 이분 그래프에서만 성립한다.
• 기존의 GNN 모델인 GIN, GAT, GCN, GraphSAGE는 정점 덮개 문제에 대해 2-근사 비율을 초월하거나 독립 집합 문제에 대해 $(\Delta+1)$-근사 비율을 초월할 수 없다.