[论文解读] A GNN-Guided Predict-and-Search Framework for Mixed-Integer Linear Programming

Qingyu Han, Linxin Yang+6 more|arXiv (Cornell University)|Feb 11, 2023

Vehicle Routing Optimization Methods被引用 9

一句话总结

论文提出一个 predict-and-search 框架，使用图神经网络来预测 MILP 实例的边际变量概率，然后进行信任域搜索以找到高质量的可行解，在原始间隙方面相较 SCIP 和 Gurobi 有显著改善。

ABSTRACT

Mixed-integer linear programming (MILP) is widely employed for modeling combinatorial optimization problems. In practice, similar MILP instances with only coefficient variations are routinely solved, and machine learning (ML) algorithms are capable of capturing common patterns across these MILP instances. In this work, we combine ML with optimization and propose a novel predict-and-search framework for efficiently identifying high-quality feasible solutions. Specifically, we first utilize graph neural networks to predict the marginal probability of each variable, and then search for the best feasible solution within a properly defined ball around the predicted solution. We conduct extensive experiments on public datasets, and computational results demonstrate that our proposed framework achieves 51.1% and 9.9% performance improvements to MILP solvers SCIP and Gurobi on primal gaps, respectively.

研究动机与目标

• 通过预测边际概率并按解质量对样本进行加权，来降低为学习方法收集最优 MILP 解的高成本。
• 在利用学习信息的同时通过信任域搜索来确保可行性，而不是硬性变量固定。
• 展示该框架能够产生等同或更优的解，相较于基于固定的端到端方法。
• 在公开的 MILP 基准上对比最先进求解器，评估性能提升。

提出的方法

• 将 MILP 实例表示为二部图，并应用图神经网络来预测二值变量的边际概率 p(x_i=1; M)。
• 通过分布学习训练 GNN，使在可行解上的加权对数似然最大化，使用基于权重的采样方案近似条件分布（Equations 3–6）。
• 围绕由预测得到的部分解构造信任域，并求解一个带约束的子问题，以获得近似最优的完整解（Algorithm 1 与 Equations 7–9）。
• 提供一个理论保证：搜索方法不可能比纯固定策略更差（Proposition 1）。
• 使用 SCIP 和 Gurobi 作为求解器，在多个公开 MILP 数据集上评估框架。

实验结果

研究问题

• RQ1 GNN 诱导的边际概率映射是否能在可行区域内引导高效搜索，以定位高质量的 MILP 解？
• RQ2 围绕预测边际的信任域搜索在原始质量和可行性方面是否优于简单的固定方法？
• RQ3 在标准基准上将预测与搜索框架与现有 MILP 求解器结合时，原始间隙的经验提升有哪些？

主要发现

• 该框架在测试数据集的平均情况下，比 SCIP 的原始间隙小 51.1%，比 Gurobi 小 9.9%。
• 在 Independent Set 数据集上表现尤为出色，在某些情况下甚至在 10 秒内达到最优解。
• 与 Neural Diving with Selective Net 相比，在测试的 IP 和 IS 数据集上，predict-and-search 在平均相对原始间隙方面至少小于三倍。
• 信任域搜索的保证可以优于基于固定的子问题，降低因过早固定变量而造成不可行性或次优的风险。