[论文解读] Learning the Multiple Traveling Salesmen Problem with Permutation Invariant Pooling Networks

Yoav Kaempfer, Lior Wolf|arXiv (Cornell University)|Mar 26, 2018

Vehicle Routing Optimization Methods参考文献 27被引用 61

一句话总结

该论文提出一种神经网络，通过将推销员、城市和总站视为三组，使用具有 Leave-One-Out 池化的置换不变池化，且具备可微的软分配层和束搜索，超越领先的 mTSP 求解器。

ABSTRACT

While there are optimal TSP solvers, as well as recent learning-based approaches, the generalization of the TSP to the Multiple Traveling Salesmen Problem is much less studied. Here, we design a neural network solution that treats the salesmen, cities and depot as three different sets of varying cardinalities. We apply a novel technique that combines elements from recent architectures that were developed for sets, as well as elements from graph networks. Coupled with new constraint enforcing output layers, a dedicated loss, and a search method, our solution is shown to outperform all the meta-heuristics of the leading solver in the field.

研究动机与目标

• 为困难的 mTSP 提出基于学习的近似方法的动机，超越传统 TSP 求解器。
• 开发一个置换不变的多集合网络架构，能够处理可变的组大小（推销员、 depot、城市）。
• 通过一个可微的软分配层和专门的损失来强制 mTSP 约束，使得可以使用 ILP 最优标签进行端到端训练。
• 整合空间加权机制和束搜索，以产生高质量的 mTSP 解。
• 在标准 mTSP 基准测试中实证地展示优于领先元启发式方法的性能。

提出的方法

• 将 PointNet 风格的集合架构推广到处理三组（推销员、 depot、城市）并使用置换不变池化。
• 引入 Leave-One-Out 池化，以避免对每个元素的自上下文泄露。
• 整合对距离的学习空间权重，以创建加权池化机制。
• 生成一个 m×n×n 的实值输出张量，表示每个推销员的潜在边，然后应用一个可微的类 Softmax 归一化（softassign），以获得一个半多随机张量，符合 mTSP 约束。
• 应用束搜索从 softoutput 中提取最佳可行路线，以对数概率最大化来提高数值稳定性。
• 端到端训练，使用一个表示不变的损失，考虑目标的所有等价表示（推销员排列和路线方向）。

实验结果

研究问题

• RQ1 我们如何设计一个对多组（推销员、 depot、城市）的排序不变且可扩展到可变组大小的神经网络，以解决 mTSP？
• RQ2 是否可以通过一个可微的约束执行层配合定制的损失，得到超越传统元启发式的 mTSP 解？
• RQ3 学习的城市间距离空间加权是否能提升 mTSP 的路径质量？
• RQ4 Leave-One-Out 池化对在不自我引用的情况下保留组特定信息有何影响？
• RQ5 所提出的方法如何推广到标准 TSP 基准和更大规模的 mTSP 实例？

主要发现

模型	束宽 1	束宽 20	束宽 200	束宽 2,000
NN Baseline	28.44%	15.12%	9.24%	5.97%
ORmin	21.76%	2.51%	0.14%	<0.01%
Our w/o invariant loss	6.59%	0.57%	0.02%	<0.01%
Our w/o spatial weighting	1.79%	0.07%	0.01%	<0.01%
Our w/o LOO in the pooling	1.85%	0.04%	<0.01%	<0.01%
Our	0.95%	0.01%	<0.01%	<0.01%

• 所提出的方法在测试基准上取得的结果优于所有领先 mTSP 求解器的元启发式方法。
• 一个表示不变的损失和 Leave-One-Out 池化相较于消融显著改进了性能。
• 加权的空间池化和 Leave-One-Out 策略促成了相对于非 LO0 的变体的显著性能提升。
• 带对数概率最大化的束搜索提取在不同束宽下均能产生高质量的最终解。
• 在 mTSPLib 与基准数据集上，该方法在大多数设置中优于 OR-Tools 配置和神经网络基线，且在较大束宽下获得显著提升。