[论文解读] MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers

Elias B. Khalil, Christopher G. Morris+1 more|ArXiv.org|May 27, 2022

Vehicle Routing Optimization Methods被引用 5

一句话总结

MIP-GNN 是一种图神经网络框架，将混合整数规划问题表示为二部图，以预测变量偏置——即变量在近似最优解中取值为1的可能性，从而指导MIP求解器的决策。该方法在多种二值混合整数线性规划（binary MILP）实例中显著提升了CPLEX求解器的节点选择与热启动性能，仅使用一个训练好的模型即可优化多个求解器组件，且无需特征工程。

ABSTRACT

Mixed-integer programming (MIP) technology offers a generic way of formulating and solving combinatorial optimization problems. While generally reliable, state-of-the-art MIP solvers base many crucial decisions on hand-crafted heuristics, largely ignoring common patterns within a given instance distribution of the problem of interest. Here, we propose MIP-GNN, a general framework for enhancing such solvers with data-driven insights. By encoding the variable-constraint interactions of a given mixed-integer linear program (MILP) as a bipartite graph, we leverage state-of-the-art graph neural network architectures to predict variable biases, i.e., component-wise averages of (near) optimal solutions, indicating how likely a variable will be set to 0 or 1 in (near) optimal solutions of binary MILPs. In turn, the predicted biases stemming from a single, once-trained model are used to guide the solver, replacing heuristic components. We integrate MIP-GNN into a state-of-the-art MIP solver, applying it to tasks such as node selection and warm-starting, showing significant improvements compared to the default setting of the solver on two classes of challenging binary MILPs.

研究动机与目标

• 解决MIP求解器依赖手工设计启发式方法的问题，这些方法忽略了问题分布中的实例特定模式。
• 利用近似最优解中的数据驱动洞察，提升组合优化问题的求解器性能。
• 开发一种通用且可复用的框架，通过单一训练模型同时改进MIP求解器的多个组件。
• 将学习到的变量偏置集成到MIP求解器的关键操作中，如节点选择、分支策略和热启动，且无需额外特征工程。
• 证明单一MIP-GNN模型在多样化的真实世界二值MILP实例中的有效性与可迁移性。

提出的方法

• 将混合整数线性规划（MILP）表示为包含变量节点和约束节点的二部图，边表示非零系数。
• 以监督方式训练图神经网络（GNN），以预测变量偏置——即近似最优解中1的分量平均值。
• 在消息传递过程中引入残差误差信息，以增强GNN捕捉约束违反与解可行性能力。
• 利用预测的变量偏置指导MIP求解器决策：优先处理分支定界树中的节点、选择分支变量，并使用四舍五入解进行热启动。
• 使用同一模型应用于多个求解器组件，实现可迁移性并降低各组件的训练开销。
• 采用先进的GNN架构（如SAGE配合EdgeConvolution）并调整超参数，如偏置预测的阈值设定。

实验结果

研究问题

• RQ1 一个单一、数据驱动的GNN模型能否有效预测变量偏置，从而改进MIP求解器中多个启发式组件的性能？
• RQ2 在多样化二值MILP实例中，MIP-GNN在原始积分、最优性间隙和解质量方面与默认CPLEX求解器相比表现如何？
• RQ3 在相同问题类别下，一个在某一问题集上训练的MIP-GNN模型，能在多大程度上泛化到其他略有不同的问题集？
• RQ4 在GNN消息传递过程中引入残差误差是否能提升变量偏置预测的准确性及后续求解器引导效果？
• RQ5 MIP-GNN能否同时提升节点选择与热启动性能，从而证明学习到的偏置在多组件应用中的有效性？

主要发现

• 在广义独立集问题（GISP）的全部十个测试集上，MIP-GNN在节点选择方面显著优于默认CPLEX，原始积分与最优性间隙均大幅降低。
• 在GISP数据集上，MIP-GNN在几乎所有情况下均找到了更优的终止解，并在大多数数据集中减少了最优性间隙。
• 在固定费用多商品网络流（FCMNF）问题中，MIP-GNN在81%的测试实例中获得了更优的最终解，在62%的实例中原始积分更小，当用于节点选择时表现更佳。
• 通过MIP-GNN引导的节点选择，能更频繁地通过LP松弛发现整数可行解，表明在搜索树中更高效地探索了有希望的区域。
• 使用MIP-GNN预测结果进行热启动，在9个GISP数据集中的6个上获得了更优的最终解，且在6个数据集中最优性间隙更小，尽管热启动实现较为基础。
• 迁移学习实验表明，一个在某一问题集上训练的MIP-GNN模型能良好泛化到其他问题集，在三个测试集中的两个上，迁移模型的性能与原始模型相当或更优。