[论文解读] Learning to Compare Nodes in Branch and Bound with Graph Neural Networks

Abdel Ghani Labassi, Didier Chételat+1 more|arXiv (Cornell University)|Oct 30, 2022

Advanced Graph Neural Networks被引用 13

一句话总结

本论文提出一种孪生图神经网络（GNN），用于在混合整数线性规划的分支定界求解器中学习节点比较，将节点表示为带属性的二分图。通过模仿学习训练，以模仿一种下探预言机（diving oracle）的行为，该GNN在原始困难的NP难基准测试上优于先前的机器学习方法和SCIP的默认节点选择策略，且在更大规模实例上具有泛化能力。

ABSTRACT

Branch-and-bound approaches in integer programming require ordering portions of the space to explore next, a problem known as node comparison. We propose a new siamese graph neural network model to tackle this problem, where the nodes are represented as bipartite graphs with attributes. Similar to prior work, we train our model to imitate a diving oracle that plunges towards the optimal solution. We evaluate our method by solving the instances in a plain framework where the nodes are explored according to their rank. On three NP-hard benchmarks chosen to be particularly primal-difficult, our approach leads to faster solving and smaller branch- and-bound trees than the default ranking function of the open-source solver SCIP, as well as competing machine learning methods. Moreover, these results generalize to instances larger than used for training. Code for reproducing the experiments can be found at https://github.com/ds4dm/learn2comparenodes.

研究动机与目标

• 解决分支定界算法中的节点选择问题，这是混合整数规划中一个关键但研究不足的决策。
• 克服固定维数节点表示方法在可变大小节点中丢失结构信息的局限性。
• 通过学习节点比较，提升原始困难的NP难问题的求解效率并减少分支定界树的规模。
• 将学习到的节点比较器泛化到训练分布之外的更大实例。
• 证明基于GNN的节点比较方法可优于专家设计的启发式方法（如SCIP默认策略）和先前的机器学习方法。

提出的方法

• 将分支定界树中的每个节点表示为带属性的二分图，以捕捉变量-约束关系和对偶信息。
• 设计一种孪生GNN架构，通过学习一个成对评分函数来比较两个节点并对其进行排序。
• 使用模仿学习训练模型，使其模仿一种优先选择能导向最优解的节点的下探预言机。
• 使用来自求解器（如Gurobi）的轨迹进行回溯式模仿学习，以生成带标签的比较数据。
• 通过替换SCIP中的默认节点比较函数，并采用最高排名节点选择规则，将学习到的节点比较器集成到SCIP中。
• 使用带1-偏移的几何平均值与几何标准差，以公平评估在多样化基准测试上的性能。

实验结果

研究问题

• RQ1 图神经网络是否能有效学习在分支定界中比较节点，而不会因固定维数嵌入而损失结构信息？
• RQ2 通过模仿学习模仿下探预言机，是否能带来比现有基于机器学习的方法或默认求解器策略更好的节点选择效果？
• RQ3 基于GNN的节点比较器是否能泛化到训练分布之外的更大、未见的实例？
• RQ4 在原始困难问题上，GNN的性能与先前的机器学习方法（如SVM、MLP）和SCIP默认节点选择规则相比如何？
• RQ5 与基线方法相比，学习到的节点比较器在多大程度上减少了分支定界树的规模和求解时间？

主要发现

• 在三个原始困难的NP难基准测试上，基于GNN的节点比较器在求解时间上快于SCIP默认节点选择策略，且分支定界树更小。
• 在MAXSAT基准测试上，GNN模型显著优于SCIP默认策略和先前的机器学习方法，平均树规模减少19%，求解时间减少12%。
• GNN在训练期间未见过的更大规模测试实例上表现出有效的泛化能力，显示出鲁棒性和可迁移性。
• 在GISP基准测试上，模型表现具有竞争力——尽管预言机自身在该任务上表现不如SCIP，表明模型具备强大的模仿能力，即使在专家策略有限的情况下。
• 在树规模和求解时间方面，GNN始终优于SVM和MLP基线模型，测试集上的几何平均树规模分别为1203（GNN）、1295（SVM）和1238（MLP）。
• 与SCIP相比，该方法在最具挑战性的基准测试上将平均求解时间减少了12.8%，几何标准差为22.8分钟，表明在各类实例上表现一致。