[论文解读] Challenges of Applying Deep Reinforcement Learning in Dynamic Dispatching

Hamed Khorasgani, Haiyan Wang+1 more|arXiv (Cornell University)|Nov 9, 2020

Mining Techniques and Economics参考文献 34被引用 11

一句话总结

本文识别并分析了将深度强化学习（DRL）应用于露天采矿动态调度时的关键挑战，重点关注由于卡车故障导致的可变智能体数量，以及需频繁重新训练的动态目标/约束。文章指出，现有DRL方法无法应对这些工业现实，主张容错能力和自适应多任务学习对于采矿作业中的实际部署至关重要。

ABSTRACT

Dynamic dispatching aims to smartly allocate the right resources to the right place at the right time. Dynamic dispatching is one of the core problems for operations optimization in the mining industry. Theoretically, deep reinforcement learning (RL) should be a natural fit to solve this problem. However, the industry relies on heuristics or even human intuitions, which are often short-sighted and sub-optimal solutions. In this paper, we review the main challenges in using deep RL to address the dynamic dispatching problem in the mining industry.

研究动机与目标

• 识别并分析在真实世界采矿动态调度系统中部署深度强化学习（DRL）的实际挑战。
• 突出当前最先进的DRL研究与采矿作业工业需求之间的差距。
• 强调两个在以往DRL文献中未被广泛讨论的新挑战：由于卡车故障导致的智能体数量可变性，以及对快速适应变化的目标和约束的需求。
• 倡导开发具备容错性、自适应能力的DRL策略，以在真实世界运营波动下高效运行。
• 通过识别关键障碍和潜在研究方向，弥合学术DRL研究与采矿业实际部署之间的差距。

提出的方法

• 在露天采矿动态调度背景下，回顾Dulac-Arnold等人[7]提出的现有DRL挑战。
• 分析离线训练的局限性，原因包括高维状态与动作空间，以及模拟器保真度不足。
• 提出由于卡车故障与维修导致的智能体数量可变性问题，这会破坏固定架构的DRL模型。
• 提出需要采用多任务强化学习与元强化学习方法，以实现在不完全重新训练的前提下，快速适应变化的生产目标或运营约束。
• 评估经验回放与基于嵌入的状态表示在处理可变智能体数量方面的可行性。
• 强调容错能力的重要性，即在故障后仍需保持较少活跃卡车数量下的最优调度。

实验结果

研究问题

• RQ1 尽管具备理论潜力，为何深度强化学习尚未在工业动态调度系统中得到采用？
• RQ2 由于卡车故障与维修导致的可变智能体数量，如何影响采矿场景中多智能体DRL策略的性能与稳定性？
• RQ3 当目标或约束（如限速、产量目标）频繁变化时，当前DRL训练范式存在哪些实际限制？
• RQ4 元强化学习或多任务强化学习方法是否能实现在无需完全重新训练情况下的高效新目标适应？
• RQ5 DRL策略如何在由不完美模拟器引起的非平稳、随机环境中保持性能与安全性？

主要发现

• 深度强化学习尚未在工业动态调度中应用，原因包括离线训练效率低下、样本复杂度高，以及在大规模、非平稳环境中的收敛性差。
• 由于卡车故障与维修导致的智能体数量可变性，对固定架构的多智能体DRL模型构成重大挑战，亟需动态状态表示与策略自适应的新方法。
• 当运营目标或约束（如新限速、产量目标）频繁变更时，重新训练因计算成本高和耗时长而不可行，需依赖更快的适应机制。
• 现有DRL方法通常缺乏容错能力；工业应用要求策略在故障后仍能维持最优调度，即使活跃卡车数量减少。
• 元强化学习与多任务强化学习在实现快速适应新目标方面具有潜力，但当前方法在具有多样化任务分布的复杂真实采矿场景中尚未得到充分验证。
• 可解释性不足与模拟器保真度不可靠进一步阻碍了信任与部署，即使DRL策略在性能上优于传统启发式方法（如最短队列）。