[论文解读] Learning a Large Neighborhood Search Algorithm for Mixed Integer Programs

Nicolas Sonnerat, Pengming Wang+3 more|arXiv (Cornell University)|Jul 21, 2021

Machine Learning and Algorithms被引用 13

一句话总结

本文提出了一种基于学习的大型邻域搜索（LNS）框架，用于混合整数规划（MIP），该框架结合了用于初始解生成的神经下探（Neural Diving）模型和用于迭代改进的神经邻域选择（NNS）策略。通过模仿学习训练，以模仿最优专家邻域选择策略，该方法在高时间限制下，于大规模真实世界MIP实例上，平均原始差距相比基线最高提升了37.8倍。

ABSTRACT

Large Neighborhood Search (LNS) is a combinatorial optimization heuristic that starts with an assignment of values for the variables to be optimized, and iteratively improves it by searching a large neighborhood around the current assignment. In this paper we consider a learning-based LNS approach for mixed integer programs (MIPs). We train a Neural Diving model to represent a probability distribution over assignments, which, together with an off-the-shelf MIP solver, generates an initial assignment. Formulating the subsequent search steps as a Markov Decision Process, we train a Neural Neighborhood Selection policy to select a search neighborhood at each step, which is searched using a MIP solver to find the next assignment. The policy network is trained using imitation learning. We propose a target policy for imitation that, given enough compute resources, is guaranteed to select the neighborhood containing the optimal next assignment amongst all possible choices for the neighborhood of a specified size. Our approach matches or outperforms all the baselines on five real-world MIP datasets with large-scale instances from diverse applications, including two production applications at Google. It achieves $2\ imes$ to $37.8\ imes$ better average primal gap than the best baseline on three of the datasets at large running times.

研究动机与目标

• 为解决如神经下探等一次性原始启发式方法的局限性，这些方法在运行时间增加后无法进一步改进。
• 开发一种可扩展的、可学习的LNS框架，通过迭代方式在初始赋值基础上持续改进MIP解。
• 训练一种邻域选择策略，以模仿最优专家策略，从而实现向高质量解的更快收敛。
• 在多样化的、大规模真实世界MIP数据集上展示该方法的有效性，包括某大型科技公司提供的生产实例。

提出的方法

• 使用神经下探模型生成MIP变量的初始可行赋值，该模型基于MIP结构进行条件生成。
• 在每次LNS迭代中，神经邻域选择（NNS）策略根据当前赋值选择一组整数变量进行取消赋值。
• 所选变量构成一个子MIP，使用现成的MIP求解器（如SCIP）求解，以生成下一个改进的赋值。
• NNS策略通过模仿学习进行训练，目标是模仿一个专家策略，该策略在给定大小的汉明球内选择包含最优下一赋值的邻域。
• 该专家策略计算成本较高，但可在离线阶段生成数据，从而实现对最优邻域选择的模仿。
• 该方法具有可扩展性，因为初始赋值和邻域选择均被建模为高维决策上的联合分布，从而实现高效的推理。

实验结果

研究问题

• RQ1 基于学习的邻域选择策略是否能在大规模MIP上显著提升解的质量，超越一次性初始启发式方法（如神经下探）？
• RQ2 在MIP的LNS中，模仿最优专家邻域策略与启发式或随机邻域选择相比，表现如何？
• RQ3 所提出的LNS框架在多样化的真实世界MIP数据集上，与现有基线相比，在原始差距减少方面能提升多少？
• RQ4 与非迭代启发式方法相比，NNS策略的迭代应用是否能更有效地利用延长的运行时间？

主要发现

• 所提出的ND + NNS方法在五个多样化的真实世界MIP数据集上表现匹配或优于所有基线，包括两家大型科技公司提供的两个生产应用实例。
• 在三个数据集上，该方法在长时间运行后相比最佳基线，平均原始差距提升了2至37.8倍。
• 性能提升归因于NNS策略的迭代使用，使其相比一次性神经下探基线能更有效地利用扩展的时间预算。
• 该方法在大规模MIP实例上表现出可扩展性和有效性，而先前基于学习的LNS方法因固定邻域选择或推理缓慢而受到限制。
• 模仿学习方法成功近似了最优专家邻域策略，从而在推理阶段实现快速且有效的邻域选择。
• 结果表明，端到端训练和更表达性强的架构（如自回归模型）可进一步提升性能。