[论文解读] An actor-critic algorithm with deep double recurrent agents to solve the job shop scheduling problem.

Marta Monaci, Valerio Agasucci+1 more|arXiv (Cornell University)|Oct 18, 2021

Scheduling and Optimization Algorithms参考文献 40被引用 5

一句话总结

本文提出一种基于双LSTM的深度强化学习演员-评论家算法，通过将作业车间调度问题（JSSP）建模为动态马尔可夫决策过程，以解决该问题。该方法从多样化的JSSP实例中学习贪婪启发式策略，能够快速获得高质量解，并有效泛化至更大规模或分布不同的问题，优于基线启发式方法，在基准测试中表现强于CPLEX。

ABSTRACT

There is a growing interest in integrating machine learning techniques and optimization to solve challenging optimization problems. In this work, we propose a deep reinforcement learning methodology for the job shop scheduling problem (JSSP). The aim is to build up a greedy-like heuristic able to learn on some distribution of JSSP instances, different in the number of jobs and machines. The need for fast scheduling methods is well known, and it arises in many areas, from transportation to healthcare. We model the JSSP as a Markov Decision Process and then we exploit the efficacy of reinforcement learning to solve the problem. We adopt an actor-critic scheme, where the action taken by the agent is influenced by policy considerations on the state-value function. The procedures are adapted to take into account the challenging nature of JSSP, where the state and the action space change not only for every instance but also after each decision. To tackle the variability in the number of jobs and operations in the input, we modeled the agent using two incident LSTM models, a special type of deep neural network. Experiments show the algorithm reaches good solutions in a short time, proving that is possible to generate new greedy heuristics just from learning-based methodologies. Benchmarks have been generated in comparison with the commercial solver CPLEX. As expected, the model can generalize, to some extent, to larger problems or instances originated by a different distribution from the one used in training.

研究动机与目标

• 解决医疗和物流等领域对快速、可扩展调度解决方案的需求，其中传统求解器因速度过慢而无法满足实时应用要求。
• 开发一种基于学习的启发式方法，使其在不同作业数和机器数的JSSP实例中均具有泛化能力。
• 克服JSSP固有的动态状态空间和动作空间变化问题，即每次调度决策后，状态和动作空间均发生变化。
• 设计一种强化学习框架，能够适应实例特定的结构变化，同时保持学习效率。

提出的方法

• 将JSSP建模为马尔可夫决策过程（MDP），其中状态空间和动作空间在调度过程中动态演变。
• 实施一种演员-评论家强化学习框架，其中策略（演员）由状态值函数（评论家）指导，以提升决策质量。
• 使用两个独立的长短期记忆（LSTM）网络来编码作业和机器的动态状态，从而支持处理可变大小的输入。
• 设计动作空间以表示下一操作所选作业，决策基于学习到的策略和价值估计。
• 在包含不同作业数和机器数的JSSP实例分布上，端到端训练智能体。
• 调整网络架构和训练流程，以应对JSSP的组合复杂性和动态结构。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在多样化实例规模下，学习到有效且可泛化的作业车间调度问题启发式策略？
• RQ2 与传统启发式方法及商业求解器（如CPLEX）相比，采用双LSTM的演员-评论家框架表现如何？
• RQ3 训练后的智能体在泛化至比训练集更大或分布不同的JSSP实例方面，能力达到何种程度？
• RQ4 该方法在极短推理时间内生成高质量解的效率如何？

主要发现

• 所提方法在极短推理时间内为JSSP实例生成了高质量解，证明了通过深度强化学习学习贪婪启发式策略的可行性。
• 该智能体可泛化至更大规模的JSSP实例，以及分布不同于训练集的实例，表明其具备强大的泛化能力。
• 该模型在与商业求解器CPLEX的对比中表现具有竞争力，尤其在有限时间内解决方案质量方面优势明显。
• 双LSTM架构有效捕捉了作业和机器的动态状态，使智能体能够处理可变大小的输入和不断演化的决策空间。