[论文解读] Dynamic Partial Removal: A Neural Network Heuristic for Large Neighborhood Search

Mingxiang Chen, Lei Gao+2 more|arXiv (Cornell University)|May 19, 2020

Vehicle Routing Optimization Methods参考文献 13被引用 10

一句话总结

本文提出动态部分删除（DPR），一种基于分层循环图卷积网络（HRGCN）的新颖神经网络启发式算法，用于增强组合优化中的大邻域搜索（LNS）。通过整合空间与时间上下文感知能力，DPR 自适应地执行解的破坏与修复，相较于传统 LNS 启发式算法（如 ALNS 和 SISR），在 CVRPTW 基准测试中展现出更快的收敛速度与更优的解质量，尤其在大规模问题上表现突出。

ABSTRACT

This paper presents a novel neural network design that learns the heuristic for Large Neighborhood Search (LNS). LNS consists of a destroy operator and a repair operator that specify a way to carry out the neighborhood search to solve the Combinatorial Optimization problems. The proposed approach in this paper applies a Hierarchical Recurrent Graph Convolutional Network (HRGCN) as a LNS heuristic, namely Dynamic Partial Removal, with the advantage of adaptive destruction and the potential to search across a large scale, as well as the context-awareness in both spatial and temporal perspective. This model is generalized as an efficient heuristic approach to different combinatorial optimization problems, especially to the problems with relatively tight constraints. We apply this model to vehicle routing problem (VRP) in this paper as an example. The experimental results show that this approach outperforms the traditional LNS heuristics on the same problem as well. The source code is available at \href{https://github.com/water-mirror/DPR}{https://github.com/water-mirror/DPR}.

研究动机与目标

• 开发一种更智能、更自适应的 LNS 启发式方法，以提升大规模组合优化问题的解质量与收敛速度。
• 利用深度学习将空间与时间上下文感知能力整合至 LNS 的破坏算子中，实现在破坏过程中更智能的节点选择。
• 将该方法推广至多种组合优化问题，特别是具有严格约束的问题，如带时间窗的容量受限车辆路径问题（CVRPTW）。
• 通过可学习的、循环图结构的破坏机制，超越传统 LNS 启发式方法（如 ALNS 与 SISR）在解质量与计算效率方面的表现。

提出的方法

• 提出分层循环图卷积网络（HRGCN）作为动态部分删除（DPR）启发式方法的核心，用于 LNS。
• 利用 HRGCN 在破坏过程中建模空间上下文（拓扑邻居与路径上的连续节点序列）与时间上下文（多轮迭代中的解历史）。
• 实现一种动态自适应的破坏策略，基于学习到的上下文嵌入，自动学习应移除哪些节点或路径，受 ALNS 与 SISR 启发。
• 在破坏后应用修复算子，采用最小成本插入策略将被移除的节点重新插入解中。
• 在合成数据集与基准数据集上，通过强化学习端到端训练 DPR 模型，使用策略梯度优化破坏策略。
• 每轮迭代中使用多个锚点，以探索多样化的破坏模式，提升搜索多样性与解质量。

实验结果

研究问题

• RQ1 可学习的、上下文感知的神经网络启发式方法是否能在解质量与收敛速度上超越传统手工设计的 LNS 破坏算子？
• RQ2 在 HRGCN 中同时引入空间与时间上下文，对 LNS 中节点破坏的有效性提升程度如何？
• RQ3 所提出的 DPR 启发式方法在不同问题规模下（特别是大规模 CVRPTW 实例）的可扩展性如何？
• RQ4 将自适应破坏与聚类化删除模式（受 SISR 启发）相结合，是否能优于标准或随机删除策略？

主要发现

• 在 CVRPTW25 基准测试中，DPR 平均成本为 109.98，优于 ALNS（116.64）与 SISR（114.09），证明了解质量的优越性。
• 在 CVRPTW200 上，DPR 将平均成本降低至 4066.86，显著低于 ALNS（4632.34）与 SISR（4454.54），显示出强大的可扩展性。
• 在 CVRPTW400 上，DPR 达到 9699.34，远低于 SISR 的 11301.2 与真实基线的 11901.2，表明在大规模问题上表现强劲。
• 图 5 的收敛曲线显示，DPR 比传统启发式方法更快达到最优解质量，证实了其计算效率。
• 图 6 显示，随着迭代进行，路径系数逐渐下降，表明实现了从粗粒度到细粒度搜索的高效聚焦，尤其在大问题中表现明显。
• DPR RL-nG 变体（25–200 个节点）与 DPR RL-nGL（400–800 个节点）在所有规模下均表现出一致的性能提升，验证了模型的泛化能力。