[论文解读] Approximation Ratios of Graph Neural Networks for Combinatorial Problems

Ryoma Sato, Makoto Yamada+1 more|arXiv (Cornell University)|May 24, 2019

Advanced Graph Neural Networks参考文献 29被引用 16

一句话总结

本文建立了使用图神经网络（GNNs）近似组合图问题的首个理论框架，表明最强大的GNN——CPNGNNs——在最小支配集问题上达到$(\Delta+1)$的最优近似比，在最小点覆盖问题上达到$2$的最优近似比。通过将GNNs与分布式局部算法联系起来，研究证明了使用弱着色进行特征工程可改善这些近似比，表明预处理可在理论上提升模型能力。

ABSTRACT

In this paper, from a theoretical perspective, we study how powerful graph neural networks (GNNs) can be for learning approximation algorithms for combinatorial problems. To this end, we first establish a new class of GNNs that can solve a strictly wider variety of problems than existing GNNs. Then, we bridge the gap between GNN theory and the theory of distributed local algorithms. We theoretically demonstrate that the most powerful GNN can learn approximation algorithms for the minimum dominating set problem and the minimum vertex cover problem with some approximation ratios with the aid of the theory of distributed local algorithms. We also show that most of the existing GNNs such as GIN, GAT, GCN, and GraphSAGE cannot perform better than with these ratios. This paper is the first to elucidate approximation ratios of GNNs for combinatorial problems. Furthermore, we prove that adding coloring or weak-coloring to each node feature improves these approximation ratios. This indicates that preprocessing and feature engineering theoretically strengthen model capabilities.

研究动机与目标

• 建立GNN在近似NP难组合问题方面能力的理论极限。
• 弥合GNN理论与分布式局部算法理论之间的鸿沟，实现对GNN能力的正式分析。
• 识别最强大的GNN类别（CPNGNNs），并确定其在关键问题上的近似比。
• 研究节点特征工程（尤其是弱着色）如何提升GNN的近似性能。

提出的方法

• 引入VV${}_{\text{C}}$-GNNs，一种比现有模型表达能力更强的新类GNN。
• 建立VV${}_{\text{C}}$-GNNs与分布式局部算法之间的等价关系，实现理论分析。
• 提出CPNGNNs作为最强大的GNN子类，实现最优近似比。
• 通过使用一致的端口编号和节点特征（度数、弱着色/2-着色）增强GNN的表达能力。
• 通过归约到已知的分布式算法结果分析近似比。
• 在各种特征设置下证明可实现近似比的下界。

实验结果

研究问题

• RQ1 GNN在近似NP难组合问题时能达到的理论近似比上限是什么？
• RQ2 GNN在解决图问题时与分布式局部算法相比如何？
• RQ3 特征工程（如弱着色）能否提升GNN的近似能力？
• RQ4 实现最优近似比所需的最小特征集是什么？
• RQ5 GNN能否解决最大匹配问题，若能，其近似比是多少？

主要发现

• CPNGNNs在最小支配集问题上实现$(\Delta+1)$-近似，这是GNN中可达到的最优结果。
• CPNGNNs在最小点覆盖问题上实现$2$-近似，与目前已知的最佳贪心算法一致。
• 当使用弱$2$-着色作为节点特征时，CPNGNNs将最小支配集的近似比提升至$(\frac{\Delta+1}{2})$。
• 对于最大匹配问题，CPNGNNs在使用弱$2$-着色特征时实现$(\frac{\Delta+1}{2})$-近似。
• 使用$2$-着色而非弱$2$-着色时，CPNGNNs可在二分图上实现任意近似比$\alpha > 1$的最大匹配近似，但仅限于二分图。
• 现有GNN如GIN、GAT、GCN和GraphSAGE无法在点覆盖问题上优于$2$-近似，也无法在支配集问题上优于$(\Delta+1)$-近似。