[论文解读] How Good Is Neural Combinatorial Optimization? A Systematic Evaluation on the Traveling Salesman Problem

Shengcai Liu, Yu Zhang+2 more|arXiv (Cornell University)|Sep 22, 2022

Metaheuristic Optimization Algorithms Research被引用 5

一句话总结

本文针对旅行商问题（TSP）中的神经组合优化（NCO）求解器与传统求解器，采用涵盖五个性能维度的综合协议，进行了系统性评估。结果表明，NCO求解器在整体上表现逊于传统方法，但在具备充足训练数据的前提下，对于小规模TSP实例，可能在时间和能效方面表现出更优的性能。

ABSTRACT

Traditional solvers for tackling combinatorial optimization (CO) problems are usually designed by human experts. Recently, there has been a surge of interest in utilizing deep learning, especially deep reinforcement learning, to automatically learn effective solvers for CO. The resultant new paradigm is termed neural combinatorial optimization (NCO). However, the advantages and disadvantages of NCO relative to other approaches have not been empirically or theoretically well studied. This work presents a comprehensive comparative study of NCO solvers and alternative solvers. Specifically, taking the traveling salesman problem as the testbed problem, the performance of the solvers is assessed in five aspects, i.e., effectiveness, efficiency, stability, scalability, and generalization ability. Our results show that the solvers learned by NCO approaches, in general, still fall short of traditional solvers in nearly all these aspects. A potential benefit of NCO solvers would be their superior time and energy efficiency for small-size problem instances when sufficient training instances are available. Hopefully, this work would help with a better understanding of the strengths and weaknesses of NCO and provide a comprehensive evaluation protocol for further benchmarking NCO approaches in comparison to other approaches.

研究动机与目标

• 为解决组合优化领域中神经组合优化（NCO）求解器与传统求解器之间缺乏严谨、标准化比较的问题。
• 通过在TSP上建立全面的评估框架，识别NCO方法的局限性与潜在优势。
• 为未来在多个性能维度上对NCO方法与传统求解器进行评估，建立基准协议。
• 研究训练数据质量与问题规模对NCO求解器性能的影响，特别是在训练数据有限或过时的真实场景中。
• 探索NCO求解器在大规模或多样化TSP实例上是否能与手工设计的求解器达到竞争性表现。

提出的方法

• 本研究评估了多种NCO求解器，包括POMO和NeuroLKH，其在节点数从50到10,000不等的多样化TSP实例上进行训练。
• 采用五维评估协议：有效性（解的质量）、效率（计算时间）、稳定性（多次运行的一致性）、可扩展性（在不同问题规模下的表现）以及泛化能力（在未见问题类型上的表现）。
• 对于POMO，采用深度强化学习与策略梯度方法进行训练，并在保留的10,000个实例上验证性能。
• NeuroLKH通过生成候选边集，将学习模型与LKH求解器结合，从而缩小LKH的搜索空间，同时保留其优化能力。
• 传统求解器如LKH和EAX不仅以默认配置进行评估，还通过开源工具进行自动化参数调优，以确保公平比较。
• 基准测试包括五类不同的TSP问题类型，包括随机型、聚类型和真实世界实例，以评估泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 在不同TSP实例类型与规模下，NCO求解器与传统求解器在解的质量（有效性）方面表现如何？
• RQ2 与传统求解器相比，NCO求解器在训练与部署过程中的计算效率与能耗成本如何？
• RQ3 NCO求解器在不同随机种子与问题实例下，其性能是否稳定且一致？
• RQ4 与传统求解器相比，NCO求解器在大规模TSP实例（如1,000–10,000个节点）上的可扩展性如何？
• RQ5 当训练数据有限或过时时，NCO求解器在训练分布之外的问题实例上的泛化能力如何？

主要发现

• 在所有测试的问题规模与类型下，包括POMO和NeuroLKH在内的NCO求解器在解的质量（路径长度）方面均持续逊于LKH和EAX等传统求解器。
• 随着问题规模增大，NCO与传统求解器之间的性能差距扩大，POMO求解器在100个节点实例上的最优性差距大于50个节点实例。
• NCO求解器需要大量训练时间，范围从数小时到数天不等的GPU时间，但此开销在离线部署场景中可接受。
• 仅当具备充足训练数据时，NCO求解器在小规模TSP实例（如50–100个节点）中才展现出显著优势，此时其时间与能效效率更优。
• 当训练数据未能充分代表目标问题分布时，NCO求解器性能严重下降，凸显其对数据质量的高度依赖。
• 传统求解器，尤其是经自动化配置工具调优后，显著优于其默认配置，即使在无人工调优情况下，仍优于NCO求解器。