[论文解读] Accelerating Primal Solution Findings for Mixed Integer Programs Based on Solution Prediction

Jian-Ya Ding, Chao Zhang+5 more|arXiv (Cornell University)|Jun 23, 2019

Vehicle Routing Optimization Methods参考文献 24被引用 15

一句话总结

该论文提出了一种基于图神经网络（GCN）的框架，通过混合整数规划（MIP）结构的三部图表示，预测MIP中二元变量的解。通过利用预测的稳定变量来指导根节点分支或生成全局割，该方法显著加速了原始解的寻找——在8种MIP问题类型上使用SCIP验证，对相似MIP实例的解寻找速度提升了10倍，且对最优性影响极小。

ABSTRACT

Mixed Integer Programming (MIP) is one of the most widely used modeling techniques for combinatorial optimization problems. In many applications, a similar MIP model is solved on a regular basis, maintaining remarkable similarities in model structures and solution appearances but differing in formulation coefficients. This offers the opportunity for machine learning methods to explore the correlations between model structures and the resulting solution values. To address this issue, we propose to represent an MIP instance using a tripartite graph, based on which a Graph Convolutional Network (GCN) is constructed to predict solution values for binary variables. The predicted solutions are used to generate a local branching type cut which can be either treated as a global (invalid) inequality in the formulation resulting in a heuristic approach to solve the MIP, or as a root branching rule resulting in an exact approach. Computational evaluations on 8 distinct types of MIP problems show that the proposed framework improves the primal solution finding performance significantly on a state-of-the-art open-source MIP solver.

研究动机与目标

• 通过利用实例间结构相似性，加速重复MIP求解中的原始解寻找。
• 利用图表示学习建模MIP公式结构与解模式之间的相关性。
• 开发一种可泛化的数据驱动方法，提升MIP求解器性能，且无需依赖问题特定的启发式方法。
• 通过捕捉隐式变量依赖关系的图嵌入，实现对二元变量的高效解预测。
• 通过新颖的分支规则或全局割，将机器学习预测集成到分支定界法中，以提升收敛速度。

提出的方法

• 将每个MIP实例表示为一个三部图，其中节点代表变量、约束和目标函数，边编码变量-约束及约束-目标函数之间的关系。
• 在MIP实例数据集上训练图卷积网络（GCN），基于结构特征和通过迭代邻近搜索生成的标签，预测二元变量的取值。
• 使用迭代邻近搜索方法识别稳定变量——即在多个可行解中取值一致的变量，以定义训练标签。
• 利用预测解生成一种类似局部分支的割，该割可作为全局不等式添加（启发式方法），或用作根节点分支规则（精确方法）。
• 通过构建三部图，将训练好的GCN应用于新的MIP实例，并利用预测结果在根节点引导MIP求解器的搜索。
• 使用最优性间隙和原始解寻找时间评估性能，并与SCIP的默认设置进行比较。

实验结果

研究问题

• RQ1 仅基于结构特征，无需领域特定知识，机器学习能否准确预测MIP中稳定二元变量的取值？
• RQ2 三部图表示在捕捉MIP解预测中变量依赖关系方面是否有效？
• RQ3 预测的解模式能否提升MIP求解器中原始解寻找的速度，特别是在重复实例上？
• RQ4 使用预测结果指导根节点分支或生成全局割，是否比默认策略带来更快的收敛速度？
• RQ5 GCN模型在不同规模和类型MIP问题上的泛化能力如何？

主要发现

• 与SCIP的默认设置相比，基于GCN的预测框架在8种MIP问题类型上平均将最优性间隙降低了2.28个百分点。
• 采用GCN预测根节点分支的精确方法（GCN-E）在相似MIP实例上实现了原始解寻找10倍的速度提升，仅带来最优性证明时间的轻微增加。
• 该模型保持了强大的泛化性能：当在小规模实例上训练并在大规模实例上测试时，平均预测精确度仍保持在0.621，仅出现适度的准确度下降。
• 在FCNF和GA问题类型上，GCN模型的预测精确度超过0.96，表明其在具有明确变量相关性的结构化问题上表现优异。
• 采用全局割的启发式方法显著降低了原始解间隙——例如，在FCNF实例上，原始解间隙从7.06%（DEF）降至4.78%（GCN-E），证明了实际加速效果。
• 该方法在缺乏局部最优性结构的问题（如MIS和TSP）上效果有限，预测精确度降至0.10以下，表明其性能高度依赖于问题类型结构。