[论文解读] Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search

Zhuwen Li, Qifeng Chen+1 more|arXiv (Cornell University)|Oct 25, 2018

Advanced Graph Neural Networks参考文献 25被引用 216

一句话总结

论文提出一种基于学习的方法，使用图卷积网络来预测顶点被包含在最优解中的概率，结合多样性使能的树搜索和经典启发式方法，以生成并改进多个候选解。

ABSTRACT

We present a learning-based approach to computing solutions for certain NP-hard problems. Our approach combines deep learning techniques with useful algorithmic elements from classic heuristics. The central component is a graph convolutional network that is trained to estimate the likelihood, for each vertex in a graph, of whether this vertex is part of the optimal solution. The network is designed and trained to synthesize a diverse set of solutions, which enables rapid exploration of the solution space via tree search. The presented approach is evaluated on four canonical NP-hard problems and five datasets, which include benchmark satisfiability problems and real social network graphs with up to a hundred thousand nodes. Experimental results demonstrate that the presented approach substantially outperforms recent deep learning work, and performs on par with highly optimized state-of-the-art heuristic solvers for some NP-hard problems. Experiments indicate that our approach generalizes across datasets, and scales to graphs that are orders of magnitude larger than those used during training.

研究动机与目标

• 通过将深度学习与启发式算法技术结合，以激发对 NP-hard 问题的求解动机。
• 提出一种图卷积网络，用以预测顶点成为最优解一部分的概率。
• 使能多样化解的合成，以在多模态解空间中导航。
• 将 GCN 的预测与广度优先、并行树搜索相结合，以生成并改进多个候选解。
• 展示在数据集和图规模上的泛化能力与可扩展性。

提出的方法

• 将 NP-hard 问题（MIS、MVC、MC、SAT）表示为 MIS 实例，并用图卷积网络学习顶点级的似然性。
• 训练一个 GCN f(G;θ)，输出顶点的概率图；对最后一层使用 sigmoid，采用二元交叉熵损失进行监督学习。
• 通过在每个图上生成 M 个多样化的概率图来解决多模态性，使用多样解训练目标（回溯损失）。
• 使用这 M 个映射来播种广度优先、并行树搜索，将不完整解扩展为许多完整候选解。
• 通过两次改进局部搜索对候选解进行细化，并应用图简化以加速处理。
• 在 SAT、MIS、MVC、MC 基准测试上，评估并与 SOTA 深度学习基线、SMT/MIP 求解器，以及经典启发式方法进行比较。

实验结果

研究问题

• RQ1 当在合成数据上训练时，GCN 是否能够预测跨多种 NP-hard 问题的最优解中顶点的参与可能性？
• RQ2 生成多样化解映射是否改善对解空间的探索并提高最终解的质量？
• RQ3 与强大的传统求解器和近期深度学习方法在不同规模和结构的基准测试上相比，所提出的方法表现如何？
• RQ4 方法是否在数据集之间具有泛化能力，并能扩展到大约 10 万节点的图？
• RQ5 设计选择（多样性损失、树搜索策略和局部搜索）对性能的影响是什么？

主要发现

• 该方法解决了所有 SATLIB 测试实例，并在 SAT 基准上达到与最先进的 SMT/MIS 求解器相当的水平。
• 在 2017 年 SAT 竞赛中，该方法解决了 100% 的实例，超越了若干基线。
• 在 BUAA-MC 上，该方法解决了 62.5% 的 MC 实例，在 MIS 和 MVC 上超越基线。
• 在 SNAP 社交网络和引用图上，该方法优于大多数基线，在 MIS 和 MVC 上达到或超过 ReduMIS。
• 模型能够从合成的 SAT 图推广到现实网络，且可扩展到比训练数据大一个数量级的图。