[论文解读] Generalize a Small Pre-trained Model to Arbitrarily Large TSP Instances

Zhang-Hua Fu, Kai-Bin Qiu+1 more|arXiv (Cornell University)|Dec 19, 2020

Metaheuristic Optimization Algorithms Research参考文献 35被引用 22

一句话总结

该论文提出了一种混合机器学习方法，通过图采样、图转换和热力图合并，将一个小规模的监督模型泛化到任意大规模的TSP实例。通过利用预训练的基于注意力机制的图卷积残差网络生成热力图，并结合蒙特卡洛树搜索（MCTS），该方法在10,000个城市实例上实现了接近最优的解，与LKH3相比平均差距仅为4.39%，显著优于现有的基于学习的方法。

ABSTRACT

For the traveling salesman problem (TSP), the existing supervised learning based algorithms suffer seriously from the lack of generalization ability. To overcome this drawback, this paper tries to train (in supervised manner) a small-scale model, which could be repetitively used to build heat maps for TSP instances of arbitrarily large size, based on a series of techniques such as graph sampling, graph converting and heat maps merging. Furthermore, the heat maps are fed into a reinforcement learning approach (Monte Carlo tree search), to guide the search of high-quality solutions. Experimental results based on a large number of instances (with up to 10,000 vertices) show that, this new approach clearly outperforms the existing machine learning based TSP algorithms, and significantly improves the generalization ability of the trained model.

研究动机与目标

• 为了解决监督学习模型在TSP中泛化能力差的问题，这些模型通常因分布偏移而在大规模实例上失效。
• 实现在无需微调的情况下，单个小规模预训练模型可复用于任意大小的TSP实例。
• 开发一种可扩展、可泛化的框架，将监督学习与强化学习结合用于组合优化。
• 显著减少对专家设计启发式算法的依赖，同时在大规模实例上保持高质量解。

提出的方法

• 在小规模TSP实例（例如20–100个城市）上使用监督学习训练一个小规模的基于注意力机制的图卷积残差网络（Att-GCRN），并使用预计算的最优解作为监督信号。
• 对于大规模TSP实例，反复应用图采样，提取与预训练模型输入规模匹配的子图。
• 将每个采样得到的子图转换为标准TSP实例，并使用预训练的Att-GCRN生成表示边质量的子热力图。
• 将所有子热力图合并为原始大规模图上的完整热力图，同时保留空间和结构相关性。
• 将合并后的热力图作为策略先验，输入蒙特卡洛树搜索（MCTS）算法，以指导高质量TSP巡回路径的搜索。
• 实现一种基于转换的MCTS，其中每个状态代表一条完整巡回路径，动作涉及边的交换，与传统的构造型MCTS不同。

实验结果

研究问题

• RQ1 能否将一个在小规模TSP实例上训练的小型监督模型泛化到求解任意大规模TSP实例？
• RQ2 图采样与热力图合并在多大程度上能保持模型在不同实例规模下的泛化能力？
• RQ3 将预训练的监督模型与MCTS结合，是否能优于纯强化学习或监督基线方法？
• RQ4 该方法是否能在不微调的情况下，实现大规模TSP实例（如10,000个城市）的近似最优解？

主要发现

• 所提出的Att-GCRN+MCTS方法在16个10,000个城市规模的TSP实例上，与LKH3最优解相比，平均差距仅为4.3902%。
• 若不使用热力图，MCTS单独运行在10,000个城市实例上时，平均差距高达1,293.22%，表明热力图在其中起着关键作用。
• 该方法优于三种现有的基于学习的基线方法，后者在相同10,000个城市实例上的平均差距分别为501.27%、97.39%和80.28%。
• 该方法在10,000个城市实例上的平均运行时间为4.16分钟，显著快于最佳基线方法的1.69小时。
• 在较小规模实例（如20–1000个城市）上，该方法始终能生成接近最优的解，平均差距低于5%。
• 消融实验确认热力图至关重要，因为禁用热力图后，所有规模实例的性能均出现急剧下降。