[论文解读] Learning to generalize Dispatching rules on the Job Shop Scheduling

Zangir Iklassov, Dmitrii Medvedev+2 more|arXiv (Cornell University)|Jun 9, 2022

Scheduling and Optimization Algorithms被引用 5

一句话总结

本文提出了一种新颖的强化自适应阶梯课程学习（RASCL）策略，并结合一种与尺寸无关的、等变的深度学习模型，以提升强化学习在作业车间调度问题（JSP）中的泛化能力。通过在课程学习过程中动态地对表现较差的实例进行再训练，该方法将Taillard实例上的平均最优性差距降低至10.46%，Demirkol实例上的平均最优性差距降低至18.85%，显著优于先前的最先进方法。

ABSTRACT

This paper introduces a Reinforcement Learning approach to better generalize heuristic dispatching rules on the Job-shop Scheduling Problem (JSP). Current models on the JSP do not focus on generalization, although, as we show in this work, this is key to learning better heuristics on the problem. A well-known technique to improve generalization is to learn on increasingly complex instances using Curriculum Learning (CL). However, as many works in the literature indicate, this technique might suffer from catastrophic forgetting when transferring the learned skills between different problem sizes. To address this issue, we introduce a novel Adversarial Curriculum Learning (ACL) strategy, which dynamically adjusts the difficulty level during the learning process to revisit the worst-performing instances. This work also presents a deep learning model to solve the JSP, which is equivariant w.r.t. the job definition and size-agnostic. Conducted experiments on Taillard's and Demirkol's instances show that the presented approach significantly improves the current state-of-the-art models on the JSP. It reduces the average optimality gap from 19.35\% to 10.46\% on Taillard's instances and from 38.43\% to 18.85\% on Demirkol's instances. Our implementation is available online.

研究动机与目标

• 为解决现有强化学习模型在作业车间调度问题（JSP）中泛化能力不足的问题。
• 克服在不同问题规模间迁移知识时课程学习中的灾难性遗忘问题。
• 开发一种与尺寸无关、具备等变特性的深度学习模型，使其能在多种JSP实例规模间实现泛化。
• 通过降低最优性差距，提升在标准基准实例（Taillard和Demirkol）上的性能。
• 提出一种自适应训练策略，聚焦于表现最差的实例，以增强模型鲁棒性。

提出的方法

• 该模型将JSP建模为马尔可夫决策过程（MDP），其中动作是按顺序决定下一个操作的调度决策。
• 采用对作业顺序具有等变性、且与尺寸无关的神经网络架构，实现对不同问题实例的泛化能力。
• RASCL通过在训练过程中识别并重新训练表现最差的实例，动态调整课程难度。
• 课程策略通过强化低性能实例来避免灾难性遗忘，确保跨规模的知识迁移。
• 采用策略梯度方法进行训练，结合经验回放和目标网络更新以提升稳定性。
• 训练在逐步复杂的实例上进行，RASCL确保对困难案例的持续关注。

实验结果

研究问题

• RQ1 强化学习模型能否在作业车间调度问题中有效泛化于多种不同的问题规模？
• RQ2 如何改进课程学习，以防止在问题规模扩展时发生灾难性遗忘？
• RQ3 对表现较差的实例进行动态再训练是否能提升模型的泛化能力和解的质量？
• RQ4 与现有方法相比，与尺寸无关且具备等变特性的模型在标准JSP基准测试中能多大程度上实现性能超越？
• RQ5 基于模型表现自适应调整难度的课程策略，是否能比固定课程安排获得更优的最优性差距？

主要发现

• 所提出的RASCL方法将Taillard实例上的平均最优性差距从19.35%降低至10.46%，实现46%的改进。
• 在Demirkol实例上，最优性差距从38.43%降低至18.85%，实现51%的改进。
• 由于其与尺寸无关且具备等变特性的架构，该模型在不同问题规模间表现出强大的泛化能力。
• RASCL通过动态聚焦于最差表现实例，优于标准课程学习，有效缓解了灾难性遗忘。
• 该方法在Taillard和Demirkol两个基准数据集上均达到最先进性能，超越了先前的基于强化学习的方法。
• 该实现已公开发布，支持可复现性，并为基于强化学习的调度研究提供了进一步支持。