[论文解读] Learning to Iteratively Solve Routing Problems with Dual-Aspect Collaborative Transformer

Yining Ma, Jingwen Li+5 more|arXiv (Cornell University)|Oct 6, 2021

Vehicle Routing Optimization Methods被引用 49

一句话总结

提出 Dual-Aspect Collaborative Transformer (DACT)，通过学习单独的节点嵌入和位置嵌入来解决路径规划问题，并使用循环位置编码，通过 PPO 与课程学习进行训练；在 TSP 和 CVRP 上相对于以往基于 Transformer 的方法实现了更强的泛化能力和性能提升。

ABSTRACT

Recently, Transformer has become a prevailing deep architecture for solving vehicle routing problems (VRPs). However, it is less effective in learning improvement models for VRP because its positional encoding (PE) method is not suitable in representing VRP solutions. This paper presents a novel Dual-Aspect Collaborative Transformer (DACT) to learn embeddings for the node and positional features separately, instead of fusing them together as done in existing ones, so as to avoid potential noises and incompatible correlations. Moreover, the positional features are embedded through a novel cyclic positional encoding (CPE) method to allow Transformer to effectively capture the circularity and symmetry of VRP solutions (i.e., cyclic sequences). We train DACT using Proximal Policy Optimization and design a curriculum learning strategy for better sample efficiency. We apply DACT to solve the traveling salesman problem (TSP) and capacitated vehicle routing problem (CVRP). Results show that our DACT outperforms existing Transformer based improvement models, and exhibits much better generalization performance across different problem sizes on synthetic and benchmark instances, respectively.

研究动机与目标

• 通过解决现有 Transformer 编码器和位置编码的局限性，促进对 VRP 的改进神经求解器。
• 提出一种双方面表示，分别对节点信息和位置信息进行编码，以减少噪声并提升学习效果。
• 开发循环位置编码 (CPE)，以捕捉 VRP 解决方案中的圆形性和对称性。
• 使用 Proximal Policy Optimization 和课程学习对模型进行训练，以提高样本效率和收敛性。
• 展示所提出方法在 TSP 和 CVRP 的多种规模下的泛化能力和性能提升。

提出的方法

• 引入 Dual-Aspect Collaborative Transformer (DACT)，具有分离的节点特征嵌入 (NFE) 和位置特征嵌入 (PFE)。
• 使用带有每个方面自注意力的 DAC 编码器，并加入跨方面参照注意力，以实现 NFEs 与 PFEs 之间的互用。
• 使用基于循环 Gray 码的 Cyclic Positional Encoding (CPE) 对 PFEs 进行嵌入，以反映 VRP 解决方案中的循环性和邻接关系。
• 在解码器中，通过 Max-pooling 和 Multi-Head Compatibility (MHC) 层将来自两个方面的提议聚合，再通过 Feed-Forward Aggregation (FFA) 输出行动概率。
• 使用 Proximal Policy Optimization (PPO) 训练，并采用课程学习策略，从较低质量的解开始，逐步提高初始解的质量，以提高样本效率。

实验结果

研究问题

• RQ1 双方面嵌入策略是否能在标准 Transformer 的统一嵌入之上改善对 VRP 解的表示？
• RQ2 循环位置编码是否更好地捕捉 VRP 解决方案的循环特性，并提升跨问题规模的泛化？
• RQ3 课程学习在基于 PPO 的神经 VRP 求解器训练中如何影响样本效率和收敛性？
• RQ4 DACT 在不同实例规模和基准数据集上的在 TSP 和 CVRP 的泛化能力？
• RQ5 就解的质量和推断时间而言，DACT 与最先进的神经和传统求解器相比如何？

主要发现

• DACT 在参数更少的情况下优于现有基于 Transformer 的改进模型。
• CPE 能更好地对循环结构和邻接关系进行编码，从而提高对不同规模问题的泛化。
• 在 TSP50/100 上，双方面表示始终优于单方面基线的性能。
• 课程学习提高了 PPO 训练的样本效率和稳定性，使收敛更快。
• DACT 在 TSP 和 CVRP 基准测试中达到具有竞争力或更优的 gap，并在 TSPLIB 和 CVRPLIB 数据集上显示出强泛化能力。