[论文解读] DAN: Decentralized Attention-based Neural Network to Solve the MinMax Multiple Traveling Salesman Problem.

Yuhong Cao, Zhanhong Sun+1 more|arXiv (Cornell University)|Sep 9, 2021

Transportation and Mobility Innovations参考文献 18被引用 5

一句话总结

本文提出DAN，一种基于Transformer架构和参数共享的多智能体强化学习的去中心化注意力神经网络，用于求解MinMax多旅行商问题（mTSP）。该方法使智能体通过预测彼此行动实现协同，从而最小化最长路径长度，在大规模实例上优于最先进求解器，同时保持较低的计算时间。

ABSTRACT

The multiple traveling salesman problem (mTSP) is a well-known NP-hard problem with numerous real-world applications. In particular, this work addresses MinMax mTSP, where the objective is to minimize the max tour length (sum of Euclidean distances) among all agents. The mTSP is normally considered as a combinatorial optimization problem, but due to its computational complexity, search-based exact and heuristic algorithms become inefficient as the number of cities increases. Encouraged by the recent developments in deep reinforcement learning (dRL), this work considers the mTSP as a cooperative task and introduces a decentralized attention-based neural network method to solve the MinMax mTSP, named DAN. In DAN, agents learn fully decentralized policies to collaboratively construct a tour, by predicting the future decisions of other agents. Our model relies on the Transformer architecture, and is trained using multi-agent RL with parameter sharing, which provides natural scalability to the numbers of agents and cities. We experimentally demonstrate our model on small- to large-scale mTSP instances, which involve 50 to 1000 cities and 5 to 20 agents, and compare against state-of-the-art baselines. For small-scale problems (fewer than 100 cities), DAN is able to closely match the performance of the best solver available (OR Tools, a meta-heuristic solver) given the same computation time budget. In larger-scale instances, DAN outperforms both conventional and dRL-based solvers, while keeping computation times low, and exhibits enhanced collaboration among agents.

研究动机与目标

• 解决因MinMax mTSP的NP难性质导致的精确方法和启发式方法在大规模实例上的计算低效问题。
• 开发一种可扩展的去中心化学习方法，用于协同求解mTSP，使智能体最小化最大路径长度。
• 使智能体能够预测彼此的未来决策，从而在无集中协调的情况下提升协同规划能力。
• 在相同计算预算下，实现与最先进求解器（如OR Tools）相当或更优的性能。
• 在小规模（50–100个城市）和大规模（最多1000个城市）mTSP实例上，展示模型的可扩展性和鲁棒性。

提出的方法

• 将Transformer架构适配用于建模mTSP中智能体决策的长距离依赖关系。
• 使用参数共享的多智能体强化学习训练智能体，确保在不同智能体数量和城市数量下的可扩展性。
• 实施去中心化策略，使每个智能体能够预测其他智能体的未来行动，以协调路径构建。
• 利用注意力机制，使智能体在规划过程中能够聚焦于相关城市及其他智能体的潜在动作。
• 定义奖励函数以最小化所有智能体中的最大路径长度，与MinMax目标保持一致。
• 通过端到端深度强化学习训练，优化联合策略，无需集中控制。

实验结果

研究问题

• RQ1 去中心化、基于注意力的深度强化学习模型能否在高可扩展性下有效求解MinMax mTSP？
• RQ2 在小规模mTSP实例上，所提出的DAN模型与OR Tools等精确和启发式求解器相比性能如何？
• RQ3 在包含最多1000个城市和20个智能体的大规模mTSP实例上，该模型是否能保持优异的性能和协作质量？
• RQ4 基于注意力的动作预测在去中心化智能体协同mTSP求解中，能在多大程度上提升协作效率？
• RQ5 多智能体强化学习中的参数共享是否能实现跨不同智能体数量和城市数量的泛化，而无需重新训练？

主要发现

• 在小规模mTSP实例（少于100个城市）上，DAN在相同计算时间预算下与OR Tools（最先进元启发式求解器）的性能非常接近。
• 在大规模mTSP实例（最多1000个城市和20个智能体）上，DAN优于传统求解器和现有的基于深度强化学习的方法。
• 该模型保持了较低的计算时间，展示了在实际部署中的实用效率。
• 注意力机制通过使智能体能够预测并适应彼此的未来决策，实现了有效的智能体协作。
• 参数共享使模型能够泛化到不同数量的智能体和城市，增强了可扩展性。
• DAN的去中心化特性使其能够在无集中协调的情况下实现鲁棒、可扩展且协同的路径规划。