[论文解读] Manufacturing Dispatching using Reinforcement and Transfer Learning

Shuai Zheng, Chetan Gupta+1 more|arXiv (Cornell University)|Oct 4, 2019

Scheduling and Optimization Algorithms参考文献 35被引用 13

一句话总结

本文提出了一种基于深度强化学习（DRL）的调度系统，将车间状态建模为二维矩阵，并引入作业松弛时间及自定义延迟/迟到奖励。此外，该研究提出了一种基于流形对齐的迁移学习框架，以实现跨多样化制造产线的策略泛化，显著减少了训练时间并优于基线方法的性能。

ABSTRACT

Efficient dispatching rule in manufacturing industry is key to ensure product on-time delivery and minimum past-due and inventory cost. Manufacturing, especially in the developed world, is moving towards on-demand manufacturing meaning a high mix, low volume product mix. This requires efficient dispatching that can work in dynamic and stochastic environments, meaning it allows for quick response to new orders received and can work over a disparate set of shop floor settings. In this paper we address this problem of dispatching in manufacturing. Using reinforcement learning (RL), we propose a new design to formulate the shop floor state as a 2-D matrix, incorporate job slack time into state representation, and design lateness and tardiness rewards function for dispatching purpose. However, maintaining a separate RL model for each production line on a manufacturing shop floor is costly and often infeasible. To address this, we enhance our deep RL model with an approach for dispatching policy transfer. This increases policy generalization and saves time and cost for model training and data collection. Experiments show that: (1) our approach performs the best in terms of total discounted reward and average lateness, tardiness, (2) the proposed policy transfer approach reduces training time and increases policy generalization.

研究动机与目标

• 为应对高混合、低产量生产环境下的动态、随机制造环境，开发一种自适应调度系统。
• 通过定制化奖励函数的强化学习，最小化逾期和库存成本。
• 通过在不同产线配置间实现策略迁移，克服为每条产线单独训练RL模型的高昂成本。
• 通过基于流形对齐的迁移学习，提升泛化能力并降低数据与基础设施需求。

提出的方法

• 将车间状态表述为二维矩阵，以捕捉作业与机器信息，提升表征能力。
• 在状态表示中引入作业松弛时间，以增强决策的相关性。
• 设计一种奖励函数，对延迟和迟到行为施加惩罚，以契合基于交货期的调度目标。
• 采用深度强化学习结合策略梯度方法，以优化调度策略。
• 利用流形对齐，在源与目标车间环境之间学习共享的潜在空间，以实现策略迁移。
• 开发一种从状态序列中恢复动作的方法，以在序列决策任务中实现有效的迁移学习。

实验结果

研究问题

• RQ1 深度强化学习模型是否能在具有不同作业组合与到达率的动态、随机制造环境中有效学习调度策略？
• RQ2 与标准启发式方法相比，引入松弛时间及自定义延迟/迟到奖励在多大程度上提升了调度性能？
• RQ3 通过流形对齐，预训练的调度策略在多大程度上可被迁移至不同车间配置？
• RQ4 与在每个新环境中从零开始训练相比，迁移学习是否能减少训练时间并提升策略泛化能力？

主要发现

• 在19组实验设置中的18组中，所提出的深度制造调度（DMD）模型均实现了最高的总折扣奖励，且平均延迟与迟到时间最低。
• 在19组设置中的16组中，DMD在平均延迟与迟到时间方面优于所有基线方法，展现出更优的调度性能。
• 基于流形对齐的策略迁移显著减少了训练时间并提升了策略泛化能力，经迁移初始化的模型性能优于从零开始训练的模型。
• 该迁移学习方法在相同环境与跨环境设置中均表现有效，包括作业到达率与机器产能变化的情况。
• 结合迁移学习的超启发式方法也取得了与从零开始训练相当或更优的结果，验证了该迁移框架的广泛适用性。
• 基于仿真器的评估结果表明，DMD模型在多种配置下具有良好的泛化能力，包括作业队列长度、加工能力及到达分布的变化。