[论文解读] Graph Neural Networks for Maximum Constraint Satisfaction

Jan Toenshoff, Martin Ritzert+2 more|arXiv (Cornell University)|Sep 18, 2019

Constraint Satisfaction and Optimization参考文献 39被引用 8

一句话总结

该论文提出了一种通用的、无监督的图神经网络（GNN）架构，用于求解最大约束满足问题（Max-CSP），适用于所有二元CSP问题。该模型在小规模实例上进行训练，并能有效泛化到更大规模的实例，性能与贪婪算法和半定规划方法相当或更优，有时甚至超越针对最大割和最大独立集等问题的最先进启发式方法。

ABSTRACT

Many combinatorial optimization problems can be phrased in the language of constraint satisfaction problems. We introduce a graph neural network architecture for solving such optimization problems. The architecture is generic; it works for all binary constraint satisfaction problems. Training is unsupervised, and it is sufficient to train on relatively small instances; the resulting networks perform well on much larger instances (at least 10-times larger). We experimentally evaluate our approach for a variety of problems, including Maximum Cut and Maximum Independent Set. Despite being generic, we show that our approach matches or surpasses most greedy and semi-definite programming based algorithms and sometimes even outperforms state-of-the-art heuristics for the specific problems.

研究动机与目标

• 开发一种通用的深度学习方法，用于解决各类组合优化任务中的最大约束满足问题（Max-CSP）。
• 实现在小规模训练实例上进行训练后，泛化到远大于训练规模的测试实例，克服传统方法的可扩展性限制。
• 设计一种无监督训练范式，避免对每个问题实例依赖昂贵的标注解。
• 在标准的NP难问题（如最大割和最大独立集）上评估该方法。
• 将GNN的性能与已有的启发式方法、贪婪算法以及半定规划方法进行比较。

提出的方法

• 该方法采用图神经网络架构，将约束满足问题实例表示为图，其中节点代表变量，边代表变量之间的约束。
• GNN使用消息传递机制，基于邻域信息迭代更新节点表示，以捕捉结构依赖和约束依赖。
• 采用可微分的Max-CSP目标函数松弛形式进行无监督训练，允许反向传播而无需真实标签分配。
• 模型在多种Max-CSP问题的小规模实例上进行预训练，并在无需重新训练的情况下进行微调或直接应用于大规模实例。
• 预测过程通过将最终的节点表示解码为变量赋值，以最大化满足的约束数量。
• 该架构对节点排列具有不变性，并能跨不同问题规模和结构实现泛化。

实验结果

研究问题

• RQ1 一个单一的、通用的GNN架构是否能在无需针对问题特定设计的情况下，有效求解广泛的二元Max-CSP问题？
• RQ2 在小规模实例上进行无监督训练，是否能实现对显著更大规模Max-CSP实例的有效泛化？
• RQ3 所提出的GNN性能与已有的启发式方法和基于松弛的优化方法（如贪婪算法和半定规划）相比如何？
• RQ4 GNN是否能在特定Max-CSP问题（如最大割和最大独立集）上超越专用启发式方法？
• RQ5 模型性能在多大程度上依赖于训练实例的规模和结构？

主要发现

• 所提出的GNN架构能从较小的训练实例有效泛化到至少大十倍的实例，展现出强大的零样本泛化能力。
• 在最大割和最大独立集问题上，该模型的性能与半定规划松弛方法相当或更优。
• 在最大独立集问题上，GNN优于多种著名的贪婪启发式方法，并与最先进启发式基线方法相当或更优。
• 无监督训练范式实现了有效学习，无需依赖标注解，从而减少了对昂贵监督的依赖。
• 该方法在多种问题结构上保持了强劲性能，并能高效扩展到更大规模图，而无需重新训练。
• GNN在多个Max-CSP问题上表现稳健，证实了其在二元约束满足问题中的通用适用性。