[论文解读] Learning Generalizable Models for Vehicle Routing Problems via Knowledge Distillation

Jieyi Bi, Yining Ma+5 more|arXiv (Cornell University)|Oct 14, 2022

Vehicle License Plate Recognition被引用 25

一句话总结

本论文提出自适应多分布知识蒸馏（AMDKD），通过从多个分布特定的教师蒸馏知识，训练具有跨多VRP分布泛化能力的轻量学生模型。

ABSTRACT

Recent neural methods for vehicle routing problems always train and test the deep models on the same instance distribution (i.e., uniform). To tackle the consequent cross-distribution generalization concerns, we bring the knowledge distillation to this field and propose an Adaptive Multi-Distribution Knowledge Distillation (AMDKD) scheme for learning more generalizable deep models. Particularly, our AMDKD leverages various knowledge from multiple teachers trained on exemplar distributions to yield a light-weight yet generalist student model. Meanwhile, we equip AMDKD with an adaptive strategy that allows the student to concentrate on difficult distributions, so as to absorb hard-to-master knowledge more effectively. Extensive experimental results show that, compared with the baseline neural methods, our AMDKD is able to achieve competitive results on both unseen in-distribution and out-of-distribution instances, which are either randomly synthesized or adopted from benchmark datasets (i.e., TSPLIB and CVRPLIB). Notably, our AMDKD is generic, and consumes less computational resources for inference.

研究动机与目标

• 解决神经VRP求解器在跨分布泛化上的挑战，这些求解器通常在相同分布上进行训练和测试（通常为 Uniform）。
• 提出一种通用学习框架，将来自多个示例分布的多样策略转移到单一的通用学生模型上。
• 证明 AMDKD 在 unseen in-distribution 和 out-of-distribution 实例上具有竞争性能，同时保持计算效率。
• 展示对代表性构造模型（AM 和 POMO）的适用性，并在与 Efficient Active Search（EAS）的组合时潜在提升。
• 提供分析以验证所提出蒸馏方案的有效性和通用性。

提出的方法

• 提出 Adaptive Multi-Distribution Knowledge Distillation（AMDKD），通过从多个分布特定教师蒸馏知识来训练一个轻量级学生模型。
• 使用示例分布（Uniform、Cluster、Mixed）来训练教师，并进行 on-policy 蒸馏，其中学生从每个 epoch 的单个选定教师处学习顺序节点选择。
• 引入自适应分布选择策略，根据学生的验证性能更新选择分布的概率，聚焦更难的分布。
• 在保持泛化能力与推理速度之间取得平衡的前提下，降低学生模型规模（例如将节点嵌入维度从128降至64），在有益时允许使用更大规模的学生模型。
• 将 AMDKD 应用于两种骨干模型（AM 和 POMO），得到 AMDKD-AM 和 AMDKD-POMO 变体，并报告具有竞争力的泛化性能。
• 在推理阶段可选地将 AMDKD 学生模型与 Efficient Active Search（EAS）耦合，以实现最新的 state-of-the-art 结果。

实验结果

研究问题

• RQ1 一个单一的学生模型是否能够通过学习来自多个分布特定教师来实现跨VRP分布的泛化？
• RQ2 一种优先考虑更难分布的自适应蒸馏策略是否能够改善跨分布泛化？
• RQ3 与基线神经VRP模型及其他泛化技术相比，AMDKD 在 unseen distributions 与基准数据集上的表现如何？
• RQ4 在不同骨干架构（AM 和 POMO）以及问题变体（TSP 和 CVRP）下，AMDKD 的方法是否具备鲁棒性？

主要发现

• AMDKD 产生的轻量学生在 unseen distribution 上的 TSP 和 CVRP 都优于其教师模型。
• 学生模型规模可以显著减小（如 AM 从 0.68M 降至 0.26M；POMO 从 1.20M 降至 0.49M），同时泛化能力保持或提升。
• AMDKD 在 unseen in-distribution 和 out-of-distribution 实例上的泛化性能与基线方法（如 HAC、LCP、DACT、DROP、GANCO、PSRO/LIH）相比具有竞争力。
• AMDKD 变体（AMDKD-AM 与 AMDKD-POMO）在不同规模下通常优于各自的骨干模型，并保持更快的推理速度。
• 将 AMDKD 与 Efficient Active Search（EAS）耦合可在所评估的基准上获得新的 state-of-the-art。