[论文解读] H-TSP: Hierarchically Solving the Large-Scale Travelling Salesman Problem

Xuanhao Pan, Yan Jin+5 more|arXiv (Cornell University)|Apr 19, 2023

Transportation and Mobility Innovations被引用 4

一句话总结

H-TSP 提出了一种分层深度强化学习框架，通过先由高层策略选择一小部分城市（最多200个）作为候选子集，再由低层策略在这些城市上求解子TSP，从而高效求解大规模TSP问题。该方法在10,000个节点的实例上，推理时间不足4秒，达到接近最先进水平的解质量，相比最先进基于搜索的方法，推理时间最高降低两个数量级。

ABSTRACT

We propose an end-to-end learning framework based on hierarchical reinforcement learning, called H-TSP, for addressing the large-scale Travelling Salesman Problem (TSP). The proposed H-TSP constructs a solution of a TSP instance starting from the scratch relying on two components: the upper-level policy chooses a small subset of nodes (up to 200 in our experiment) from all nodes that are to be traversed, while the lower-level policy takes the chosen nodes as input and outputs a tour connecting them to the existing partial route (initially only containing the depot). After jointly training the upper-level and lower-level policies, our approach can directly generate solutions for the given TSP instances without relying on any time-consuming search procedures. To demonstrate effectiveness of the proposed approach, we have conducted extensive experiments on randomly generated TSP instances with different numbers of nodes. We show that H-TSP can achieve comparable results (gap 3.42% vs. 7.32%) as SOTA search-based approaches, and more importantly, we reduce the time consumption up to two orders of magnitude (3.32s vs. 395.85s). To the best of our knowledge, H-TSP is the first end-to-end deep reinforcement learning approach that can scale to TSP instances of up to 10000 nodes. Although there are still gaps to SOTA results with respect to solution quality, we believe that H-TSP will be useful for practical applications, particularly those that are time-sensitive e.g., on-call routing and ride hailing service.

研究动机与目标

• 解决大规模TSP实例的高效求解挑战，尤其适用于紧急调度和网约车等时间敏感型应用场景。
• 克服现有基于学习的方法因动作空间过大或训练/推理成本过高而导致的可扩展性限制。
• 开发一种端到端、可扩展的深度强化学习框架，无需依赖迭代搜索，即可泛化至最多10,000个节点的TSP实例。
• 通过在推理阶段用高质量求解器（如LKH-3）替换学习得到的低层策略，实现解质量与推理速度之间的灵活权衡。

提出的方法

• 将TSP解的构建过程分解为两个分层阶段：高层策略选择最多200个未访问城市，纳入下一轮子环路。
• 低层策略为所选城市子集构建TSP环路，并从出发点（ depot）开始将其合并到当前部分路径中。
• 使用深度强化学习联合训练两个策略，以优化解质量与收敛速度。
• 采用分治策略，每一步减少有效问题规模，从而实现对10,000个节点实例的可扩展性。
• 采用预热训练策略，并联合使用k-NN和已访问路径片段特征，以稳定训练过程并提升性能。
• 在推理阶段，将学习得到的低层策略替换为LKH-3，以在保持快速推理速度的同时显著提升解质量。

实验结果

研究问题

• RQ1 分层深度强化学习框架是否能在保持竞争力解质量的前提下，扩展至最多10,000个节点的TSP实例？
• RQ2 与最先进基于搜索和基于学习的TSP求解器相比，该分层方法在解质量与推理时间方面的表现如何？
• RQ3 高层策略与低层策略对整体解质量的相对贡献是什么？二者能否独立优化或替换？
• RQ4 所提出的训练策略（包含预热和联合训练）在多大程度上提升了模型的稳定性和性能？
• RQ5 通过在推理阶段用高质量启发式求解器（如LKH-3）替换学习得到的低层策略，该框架是否可适配实际部署，且不牺牲速度？

主要发现

• H-TSP在10,000个节点的TSP实例上实现了3.42%的最优性差距，与最先进方法Att-GCN+MCTS（3.22%差距）相当，但推理时间从395.85秒大幅缩短至3.32秒。
• 该框架在未见TSP实例上泛化能力良好，在50,000个节点实例上仍保持7.10%的差距，且在1,000至50,000个节点范围内性能稳定。
• 消融实验表明，低层策略对解质量的影响大于高层策略，其中预热阶段是训练过程中最关键的组成部分。
• 用LKH-3替换学习得到的低层策略可进一步提升解质量（例如，10,000个节点实例上的差距从7.32%降至5.57%），同时保持快速推理（27.94秒 vs. Att-GCN+MCTS的395.85秒）。
• 缺少预热训练会使最优性差距增加20.29个百分点（从6.76%增至27.05%），凸显其在训练稳定性中的关键作用。
• k-NN与已访问路径片段特征的联合使用，分别使性能提升0.93和0.66个百分点，证明了其在表征学习中的价值。