[论文解读] DAN: Decentralized Attention-based Neural Network for the MinMax Multiple Traveling Salesman Problem

Yuhong Cao, Zhanhong Sun+1 more|arXiv (Cornell University)|Sep 9, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出DAN，一种基于多智能体强化学习与参数共享的去中心化注意力神经网络，用于求解MinMax多旅行商问题（mTSP）。通过让智能体利用自注意力与交叉注意力机制实现隐式协作，DAN在数秒内即可获得接近最优的解，即使在大规模mTSP实例（100–1000个城市，5–20个智能体）上，其规划时间也显著低于SOTA求解器OR Tools，表现更优。

ABSTRACT

The multiple traveling salesman problem (mTSP) is a well-known NP-hard problem with numerous real-world applications. In particular, this work addresses MinMax mTSP, where the objective is to minimize the max tour length among all agents. Many robotic deployments require recomputing potentially large mTSP instances frequently, making the natural trade-off between computing time and solution quality of great importance. However, exact and heuristic algorithms become inefficient as the number of cities increases, due to their computational complexity. Encouraged by the recent developments in deep reinforcement learning (dRL), this work approaches the mTSP as a cooperative task and introduces DAN, a decentralized attention-based neural method that aims at tackling this key trade-off. In DAN, agents learn fully decentralized policies to collaboratively construct a tour, by predicting each other's future decisions. Our model relies on the Transformer architecture and is trained using multi-agent RL with parameter sharing, providing natural scalability to the numbers of agents and cities. Our experimental results on small- to large-scale mTSP instances ($50$ to $1000$ cities and $5$ to $20$ agents) show that DAN is able to match or outperform state-of-the-art solvers while keeping planning times low. In particular, given the same computation time budget, DAN outperforms all conventional and dRL-based baselines on larger-scale instances (more than 100 cities, more than 5 agents), and exhibits enhanced agent collaboration. A video explaining our approach and presenting our results is available at \url{https://youtu.be/xi3cLsDsLvs}.

研究动机与目标

• 在动态机器人环境中，快速高效地求解大规模MinMax mTSP实例。
• 克服精确求解器与启发式求解器的局限性，后者在实例规模增大且时间约束严格时变得不切实际。
• 开发一种可扩展的去中心化深度强化学习方法，实现多智能体间的协作与实时规划。
• 相比现有深度强化学习与元启发式基线方法，提升mTSP问题的解质量与规划效率。

提出的方法

• 将MinMax mTSP建模为合作式多智能体强化学习框架中的序列决策问题。
• 设计一种基于Transformer的神经网络架构，采用独立的编码器分别处理城市与智能体，实现对智能体间及城市-智能体依赖关系的注意力建模。
• 引入城市-智能体编码器，以建模智能体与城市之间的交互，增强协作能力并隐式预测未来决策。
• 采用参数共享的多智能体强化学习进行模型训练，实现对任意数量智能体与城市的可扩展性。
• 使用贪婪推理与采样推理变体，在解质量与推理速度之间实现平衡。
• 利用自注意力机制，使智能体能够以去中心化方式推理全局状态，并预测其他智能体的未来动作。

实验结果

研究问题

• RQ1 去中心化的深度强化学习方法是否能在大规模MinMax mTSP实例上，实现优于传统求解器的解质量与更低的规划时间？
• RQ2 对智能体间及城市-智能体依赖关系的注意力建模，如何提升mTSP中智能体间的协作能力？
• RQ3 多智能体训练中的参数共享在不同数量智能体与城市下，对可扩展性与性能的提升程度如何？
• RQ4 在时间约束下，所提出的注意力机制是否优于通用的编码器-解码器结构？

主要发现

• 在城市数超过100且智能体数为5个以上的mTSP实例中，DAN在相同时间预算下比OR Tools的解质量高出10%。
• 对于城市数达到500个及以上的实例，OR Tools在1800秒内无法求解，而DAN的贪婪变体在100秒内即可生成高质量解。
• DAN的规划时间随城市数线性增长，而OR Tools的计算时间则呈现指数级增长。
• 在10个智能体的mTSP实例上，DAN的解质量仅比LKH3（精确求解器）低4%，且速度显著更快。
• 与仅使用通用城市编码器-解码器结构的模型相比，DAN中引入智能体与城市-智能体编码器后，性能显著提升。
• 在几乎所有mTSP实例中，DAN的解质量均优于两种近期的dRL方法，尤其在大规模场景下表现更优。