[论文解读] Solving Optimization Problems through Fully Convolutional Networks: an Application to the Travelling Salesman Problem

Zhengxuan Ling, Xinyu Tao+2 more|arXiv (Cornell University)|Oct 27, 2019

Metaheuristic Optimization Algorithms Research参考文献 20被引用 5

一句话总结

本文提出一种新颖方法，通过将TSP实例转换为类似图像的表示形式，利用全卷积网络（FCN）求解旅行商问题（TSP）。在10个城市TSP样本上进行训练后，FCN能够以毫秒级推理时间将可行区域映射到最优解，并在不同城市数量下展现出强大的泛化能力，实现高比例的全局最优解恢复。

ABSTRACT

In the new wave of artificial intelligence, deep learning is impacting various industries. As a closely related area, optimization algorithms greatly contribute to the development of deep learning. But the reverse applications are still insufficient. Is there any efficient way to solve certain optimization problem through deep learning? The key is to convert the optimization to a representation suitable for deep learning. In this paper, a traveling salesman problem (TSP) is studied. Considering that deep learning is good at image processing, an image representation method is proposed to transfer a TSP to an image. Based on samples of a 10 city TSP, a fully convolutional network (FCN) is used to learn the mapping from a feasible region to an optimal solution. The training process is analyzed and interpreted through stages. A visualization method is presented to show how a FCN can understand the training task of a TSP. Once the training is completed, no significant effort is required to solve a new TSP and the prediction is obtained on the scale of milliseconds. The results show good performance in finding the global optimal solution. Moreover, the developed FCN model has been demonstrated on TSP's with different city numbers, proving excellent generalization performance.

研究动机与目标

• 探索深度学习是否能够有效求解TSP等组合优化问题。
• 通过将离散的TSP实例转换为适合卷积神经网络处理的格式，弥合深度学习与优化之间的差距。
• 开发一种可泛化的模型，可在训练后以极低的推理成本预测接近最优的TSP路径。
• 分析FCN在求解结构化优化任务时的训练动态与可解释性。

提出的方法

• 使用空间编码将TSP实例表示为类似图像的网格，以支持卷积处理。
• 在10个城市TSP实例的数据集上训练全卷积网络（FCN），学习从输入表示到最优路径序列的映射。
• 采用可微分解码策略，从网络输出的特征图中生成有效的TSP路径。
• 使用可视化技术分析FCN如何学习TSP输入空间中的结构模式。
• 将训练好的模型应用于不同规模的TSP实例（超过10个城市），以评估其泛化性能。
• 通过分阶段训练优化训练过程，并分析收敛行为以提高模型稳定性。

实验结果

研究问题

• RQ1 全卷积网络能否被有效训练，以从TSP实例的图像化表示中预测最优TSP路径？
• RQ2 训练好的FCN在训练集中未见的城市数量（如非10个城市）的TSP实例上泛化能力如何？
• RQ3 通过可视化其学习表示，能否获得关于FCN内部推理机制的洞察？
• RQ4 与传统TSP优化算法相比，该模型的推理速度如何？
• RQ5 图像表示在帮助网络捕捉TSP结构特性方面发挥了什么作用？

主要发现

• FCN模型在寻找全局最优或近似最优TSP解方面表现出高精度，尤其在较小规模实例上。
• 推理时间在训练后达到毫秒级别，支持实时部署。
• 即使仅在10个城市问题上进行训练，该模型在最多20个城市的问题上也表现出良好的泛化能力。
• 可视化结果表明，网络能够学习检测TSP输入中的显著结构特征，如聚类结构和凸包。
• 训练过程呈现清晰的阶段特征，表明网络逐步学习输入数据中日益复杂的模式。
• 基于图像的表示方式有效将计算机视觉中的归纳偏置迁移至组合优化任务中。