[论文解读] A General Large Neighborhood Search Framework for Solving Integer Linear Programs

Jialin Song, Ravi Lanka+2 more|arXiv (Cornell University)|Mar 29, 2020

Constraint Satisfaction and Optimization被引用 28

一句话总结

本文提出了一种通用的大邻域搜索（LNS）框架，用于通过迭代优化变量子集并固定其余变量来求解整数线性规划（ILP）问题，使用任何现有的ILP求解器（如Gurobi）作为黑箱子程序。该框架利用模仿学习和强化学习来学习最优的变量划分策略，在多种基准测试中显著提升了Gurobi的运行时性能，包括在CATS实例上最高达50%的性能提升。

ABSTRACT

This paper studies a strategy for data-driven algorithm design for large-scale combinatorial optimization problems that can leverage existing state-of-the-art solvers in general purpose ways. The goal is to arrive at new approaches that can reliably outperform existing solvers in wall-clock time. We focus on solving integer programs, and ground our approach in the large neighborhood search (LNS) paradigm, which iteratively chooses a subset of variables to optimize while leaving the remainder fixed. The appeal of LNS is that it can easily use any existing solver as a subroutine, and thus can inherit the benefits of carefully engineered heuristic or complete approaches and their software implementations. We show that one can learn a good neighborhood selector using imitation and reinforcement learning techniques. Through an extensive empirical validation in bounded-time optimization, we demonstrate that our LNS framework can significantly outperform compared to state-of-the-art commercial solvers such as Gurobi.

研究动机与目标

• 设计一种通用的、数据驱动的框架，用于求解大规模ILP问题，使其在运行时间上优于最先进的商业求解器。
• 实现将现有高性能ILP求解器（如Gurobi）作为黑箱子程序集成到新型搜索框架中。
• 克服传统学习-搜索方法的局限性，这些方法需要深度集成求解器内部逻辑，或仅限于性能较差的开源求解器。
• 证明通过模仿学习和强化学习学习变量邻域选择策略，可在无需领域特定知识的情况下实现显著的性能提升。

提出的方法

• 该框架采用大邻域搜索（LNS），通过迭代选择一组整数变量进行重新优化，同时固定其余变量。
• 它使用通过模仿学习和强化学习训练的策略，预测将变量最优划分为用于重新优化的邻域。
• 选定的子集使用高性能ILP求解器（如Gurobi）求解，该求解器作为黑箱子程序以改进当前最优解。
• 该方法与底层求解器无关，可无缝集成任何现有ILP求解器，包括商业求解器。
• 学习组件基于历史优化数据进行训练，以预测能加快收敛并带来更好目标值改进的邻域。
• 该框架支持随机和学习的邻域选择，后者在所有基准测试中均持续优于随机选择和Gurobi。

实验结果

研究问题

• RQ1 能否设计一种通用的LNS框架，利用现有ILP求解器作为子程序，在多种ILP问题上实现比领先商业求解器（如Gurobi）更短的运行时间？
• RQ2 在无需领域特定知识的情况下，模仿学习和强化学习在LNS中学习有效变量邻域选择策略的潜力有多大？
• RQ3 基于学习的邻域选择带来的性能提升是否在不同问题类别和基准分布中均保持稳定？
• RQ4 当使用较慢的开源求解器（如SCIP）时，LNS框架是否仍能实现优越性能，表明其在商业工具之外的广泛适用性？
• RQ5 在MAXCUT或MVC等专用领域中，该框架的性能与问题特定启发式方法相比如何？

主要发现

• 在最小点覆盖（MVC）问题上，使用学习邻域选择器的LNS框架（FT-LNS）在BA图上比Gurobi快11%，在ER图上快6%。
• 在CATS基准测试中，FT-LNS方法相比现有启发式方法的客观目标值最高提升50%，表明其在真实世界类似环境中的强大性能。
• 即使在LNS框架中采用随机邻域选择，也在多个基准测试中显著优于Gurobi，表明LNS范式本身具有固有优势。
• 当使用SCIP作为ILP求解器时，学习的LNS变体（BC-LNS和FT-LNS）进一步优于标准SCIP和随机-LNS，证实了该框架在不同求解器类型下的鲁棒性。
• 该框架在所有测试基准（包括MVC、MAXCUT和CATS）中均实现了相对于Gurobi的一致运行时间加速，验证了其通用性。
• 结果表明，通过变量划分将问题分解为有效子问题的学习能力可实现更快收敛和更优解，即使不修改底层求解器。