[论文解读] Learn to Design the Heuristics for Vehicle Routing Problem

Lei Gao, Mingxiang Chen+4 more|arXiv (Cornell University)|Feb 20, 2020

Vehicle Routing Optimization Methods参考文献 20被引用 41

一句话总结

这篇论文提出一种神经网络，学习用于VRP的大邻域搜索启发式，在中等规模数据上超越人工设计和神经网络基线，并能有效解决400节点的VRP。

ABSTRACT

This paper presents an approach to learn the local-search heuristics that iteratively improves the solution of Vehicle Routing Problem (VRP). A local-search heuristics is composed of a destroy operator that destructs a candidate solution, and a following repair operator that rebuilds the destructed one into a new one. The proposed neural network, as trained through actor-critic framework, consists of an encoder in form of a modified version of Graph Attention Network where node embeddings and edge embeddings are integrated, and a GRU-based decoder rendering a pair of destroy and repair operators. Experiment results show that it outperforms both the traditional heuristics algorithms and the existing neural combinatorial optimization for VRP on medium-scale data set, and is able to tackle the large-scale data set (e.g., over 400 nodes) which is a considerable challenge in this area. Moreover, the need for expertise and handcrafted heuristics design is eliminated due to the fact that the proposed network learns to design the heuristics with a better performance. Our implementation is available online.

研究动机与目标

• 在没有监督的专家数据的情况下，自动设计通用的破坏/修复启发式用于VRP。
• 在图形编码器中整合节点与边信息，以处理非欧几何VRP实例。
• 展示可扩展到中到大规模VRP（如>400节点）的能力，且具有竞争力的性能。

提出的方法

• 使用编码器-解码器架构，其中编码器是EGATE（Element-wise Graph Attention Network with Edge Embedding），结合节点和边信息。
• 将破坏/修复启发式表示为随机序贯策略π([η1,...,ηM])，通过带PPO的演员-评论家强化学习训练。
• 通过基于GRU的指针网络解码，输出移除节点的有序列表，指导插入顺序。
• 采用演员-评论家设置进行训练，其中奖励等于VRP成本的降低（距离加车辆成本），使用价值网络估计状态价值。
• 应用基于模拟退火的接受准则来更新解，在学习过程中实现SA引导的探索。

实验结果

研究问题

• RQ1 神经网络是否能够学习通用的高层次破坏/修复启发式来解决VRP，而不仅仅是单一手工设计的启发式？
• RQ2 通过EGATE编码器整合节点与边信息，是否能在VRP性能上超越标准基于GAT的编码器？
• RQ3 学得的启发式方法是否能扩展到大型VRP实例（如400节点）并优于传统启发式和其他神经方法？
• RQ4 在CVRP和CVRPTW设置下，学习方法与手工启发式和现有神经方法相比如何？

主要发现

• 学得的启发式方法在CVRP的1000次迭代中几乎达到基准，达到0.58%的差距。
• 对于CVRPTW，在测试求解器中以1000次迭代得到最佳结果，甚至在100万次迭代时也超过SISR基线。
• 在相同迭代预算下，该方法在中等规模的CVRP/CVRPTW上优于手工ALNS和SISR基线。
• 模型展示了处理400节点VRP的能力，在该规模下取得有竞争力的结果，相较基准存在4.4%的差距。
• 编码器-解码器设计（EGATE + 基于GRU的指针网络）使学习通用的大邻域搜索启发式成为可能，降低对专家设计启发式的依赖。