[论文解读] Learning Collaborative Policies to Solve NP-hard Routing Problems

Min-Su Kim, Jinkyoo Park+1 more|arXiv (Cornell University)|Oct 26, 2021

Vehicle Routing Optimization Methods参考文献 33被引用 43

一句话总结

引入一个两策略层次化深度强化学习框架（seeder 和 reviser），通过生成多样化的种子并对它们进行迭代修正以提升质量，解决 NP-hard 路由问题；在 TSP、PCTSP 和 CVRP 上相比单一策略 DRL 基线能取得改进。

ABSTRACT

Recently, deep reinforcement learning (DRL) frameworks have shown potential for solving NP-hard routing problems such as the traveling salesman problem (TSP) without problem-specific expert knowledge. Although DRL can be used to solve complex problems, DRL frameworks still struggle to compete with state-of-the-art heuristics showing a substantial performance gap. This paper proposes a novel hierarchical problem-solving strategy, termed learning collaborative policies (LCP), which can effectively find the near-optimum solution using two iterative DRL policies: the seeder and reviser. The seeder generates as diversified candidate solutions as possible (seeds) while being dedicated to exploring over the full combinatorial action space (i.e., sequence of assignment action). To this end, we train the seeder's policy using a simple yet effective entropy regularization reward to encourage the seeder to find diverse solutions. On the other hand, the reviser modifies each candidate solution generated by the seeder; it partitions the full trajectory into sub-tours and simultaneously revises each sub-tour to minimize its traveling distance. Thus, the reviser is trained to improve the candidate solution's quality, focusing on the reduced solution space (which is beneficial for exploitation). Extensive experiments demonstrate that the proposed two-policies collaboration scheme improves over single-policy DRL framework on various NP-hard routing problems, including TSP, prize collecting TSP (PCTSP), and capacitated vehicle routing problem (CVRP).

研究动机与目标

• 在不依赖特定问题启发式算法的前提下，使用深度强化学习解决 NP-hard 路由问题的动机。
• 提出一个包含两种专门策略的分层框架，以平衡探索与利用。
• 证明协作策略在 TSP、PCTSP 和 CVRP 上能提升解的质量和求解速度。
• 表明以熵驱动的种子生成结合并行修订能够产生多样而又精炼的解。

提出的方法

• 定义一个两阶段的 DRL 框架：一个 seeder 通过在完整组合行动空间上最大化熵来生成多样的候选路径；一个 reviser 将路径划分为子路径并在并行中优化每个子路径以提高质量。
• 使用熵正则化来鼓励种子多样性，通过对段策略熵的时间加权和来近似熵。
• 分别训练 seeder 和 reviser，利用 AM (Attention Model) 作为策略参数化的底层神经架构。
• 在修订阶段，将完整轨迹转换为多个子路径，使用从 AM 编码器中改编的共享上下文嵌入对每段进行修订，并聚合更新后的完整路径以选取最佳候选。
• 给出基于 REINFORCE（带 rollout 基线）的训练目标，结合用于 seeding 的熵奖励和用于 revising 的负长度奖励。
• 报告在 TSP、PCTSP、CVRP 上随着节点数变化（N=20、50、100、500）的性能，并与 Gurobi、OR-Tools、Concorde、LKH3 以及其他 DRL 基线进行比较。

实验结果

研究问题

• RQ1 两策略 DRL 框架（seeder 与 reviser）是否能在 NP-hard 路由问题上超过单策略 DRL 方法？
• RQ2 熵正则化的种子生成在与并行修订结合时，是否能提高解的多样性而不损失可利用的质量？
• RQ3 在现实预算下，LCP 方案在 TSP、PCTSP、CVRP 的解质量与计算时间方面表现如何？

主要发现

• LCP 在测量实验中在 TSP、PCTSP、CVRP 上对 N 最多为 100 时优于单策略 DRL 基线（如 AM、DRL-2opt）。
• 熵正则化的种子生成加上 reviser 取得最佳性能，通过消融验证显示相较于 vanilla AM 及其他配置有所改进。
• reviser 的并行子路径修订在每次推理中实现更大的有效搜索空间并减少所需总迭代次数，加速收敛。
• LCP 展现出有利的时间-性能折衷，在时间预算内达到赢家区域，优于 DRL 求解器以及一些传统启发式方法。
• 该方法保持了架构无依赖性，可应用于其他 AM 风格模型或神经架构。