[论文解读] Learning to Optimise General TSP Instances

Nasrin Sultana, Jeffrey Chan+2 more|arXiv (Cornell University)|Oct 23, 2020

Multimodal Machine Learning Applications参考文献 38被引用 5

一句话总结

该论文提出 NETSP-Net，一种结合 CNN 和 RNN 架构的深度学习模型，用于学习超越欧几里得空间的多样化 TSP 实例的一般启发式方法。该模型在易于、均匀分布的欧几里得 TSP 实例上进行训练，能够有效泛化至非欧几里得、非均匀分布以及大规模 TSP 问题，在 TSPLIB 和随机实例等基准数据集上实现了具有竞争力的性能。

ABSTRACT

The Travelling Salesman Problem (TSP) is a classical combinatorial optimisation problem. Deep learning has been successfully extended to meta-learning, where previous solving efforts assist in learning how to optimise future optimisation instances. In recent years, learning to optimise approaches have shown success in solving TSP problems. However, they focus on one type of TSP problem, namely ones where the points are uniformly distributed in Euclidean spaces and have issues in generalising to other embedding spaces, e.g., spherical distance spaces, and to TSP instances where the points are distributed in a non-uniform manner. An aim of learning to optimise is to train once and solve across a broad spectrum of (TSP) problems. Although supervised learning approaches have shown to achieve more optimal solutions than unsupervised approaches, they do require the generation of training data and running a solver to obtain solutions to learn from, which can be time-consuming and difficult to find reasonable solutions for harder TSP instances. Hence this paper introduces a new learning-based approach to solve a variety of different and common TSP problems that are trained on easier instances which are faster to train and are easier to obtain better solutions. We name this approach the non-Euclidean TSP network (NETSP-Net). The approach is evaluated on various TSP instances using the benchmark TSPLIB dataset and popular instance generator used in the literature. We performed extensive experiments that indicate our approach generalises across many types of instances and scales to instances that are larger than what was used during training.

研究动机与目标

• 解决现有学习优化方法在不同 TSP 实例类型之间泛化能力不足的问题，尤其是非欧几里得和非均匀分布的实例。
• 通过在具有已知最优解的简单、易解的欧几里得 TSP 实例上训练，克服生成多样化且困难训练数据的挑战。
• 使单一模型能够在不重新训练的情况下泛化至不同问题规模、边权类型和嵌入空间（例如球面距离）。
• 证明仅在小规模、简单 TSP 实例上训练的模型，也能为更大规模和更复杂实例生成高质量解。
• 提供一种可扩展、通用的深度学习框架，用于组合优化，且可迁移至 TSP 以外的其他 NP 难问题。

提出的方法

• 设计一种混合神经架构，结合卷积神经网络（CNN）以从城市坐标中提取空间模式，以及循环神经网络（RNN），特别是长短期记忆网络（LSTM），以逐步生成路径序列。
• 使用监督学习在大规模小规模（例如 TSP20、TSP50）欧几里得 TSP 实例数据集上进行训练，其真实最优解通过 Concorde 获得。
• 利用 CNN 学习城市之间局部空间依赖关系的能力，使模型能够泛化至不同距离度量的实例（例如，球面距离的 Haversine 公式）。
• 在 RNN 解码器中使用指针网络机制，以预测路径中下一个访问的城市，确保城市排列的有效性。
• 通过在训练期间生成具有不同分布和边权类型的多样化 TSP 实例，实施数据增强，以提升模型鲁棒性。
• 通过在 TSPLIB 的保留实例、随机生成器实例以及非欧几里得实例（例如使用大圆距离的 Bays29）上进行测试，评估泛化性能。

实验结果

研究问题

• RQ1 仅在简单、均匀分布的欧几里得 TSP 实例上训练的模型，能否泛化至更难的、非均匀分布的和非欧几里得的 TSP 实例？
• RQ2 与先前的学习优化模型相比，CNN-RNN 架构在不同问题规模和边权类型上的泛化能力提升程度如何？
• RQ3 在小规模实例（例如 TSP20–TSP100）上训练是否足以在不重新训练的情况下，有效预测大规模 TSP 实例（例如 TSP200、TSP500）的解？
• RQ4 在多样化基准数据集和实例类型上，该模型与最先进基于学习的 TSP 求解器相比性能如何？
• RQ5 该模型能否学习到对城市分布和距离度量（如球面距离）变化具有鲁棒性的启发式方法？

主要发现

• NETSP-Net 在非欧几里得 TSP 实例（如使用 Haversine 公式计算的 Bays29）上表现出有效泛化，尽管仅在欧几里得数据上训练，仍优于基线方法。
• 在 TSP20、TSP50 和 TSP100 上，该模型的平均路径长度与最先进方法相当，配对 t 检验未发现显著差异（p > 0.05）。
• 即使仅在小实例（如 TSP20、TSP50）上训练，NETSP-Net 也能为更大规模测试实例（如 TSP100、TSP200）生成可行且高质量的解，展现出强大的零样本泛化能力。
• CNN 组件使模型能够学习与距离度量无关的空间模式，从而在包括欧几里得、随机和球面距离在内的不同边权类型间实现泛化。
• 在跨实例评估中，NETSP-Net 在多种训练与测试规模组合下优于或匹配先前模型（如 AM [9]）的性能，尤其在训练数据有限时表现更优。
• 实证结果表明，该模型在包括柏林52等困难实例和 TSP50 等均匀分布实例在内的多样化 TSP 实例类型上，性能保持稳定且具有竞争力。