[论文解读] A Two-stage Framework and Reinforcement Learning-based Optimization Algorithms for Complex Scheduling Problems

Yong‐Ming He, Guohua Wu+2 more|arXiv (Cornell University)|Mar 10, 2021

Satellite Communication Systems参考文献 37被引用 6

一句话总结

本文提出了一种基于两阶段强化学习（RL）的优化框架，用于解决复杂的调度问题，结合了RL进行任务分配（建模为有限马尔可夫决策过程）和运筹学（OR）方法（如混合整数规划）进行排序与时间安排。该方法能高效地获得高质量且稳定的解，其中基于DQN的算法在敏捷地球观测卫星调度问题上，无论是速度还是解的质量方面，均优于传统方法。

ABSTRACT

There hardly exists a general solver that is efficient for scheduling problems due to their diversity and complexity. In this study, we develop a two-stage framework, in which reinforcement learning (RL) and traditional operations research (OR) algorithms are combined together to efficiently deal with complex scheduling problems. The scheduling problem is solved in two stages, including a finite Markov decision process (MDP) and a mixed-integer programming process, respectively. This offers a novel and general paradigm that combines RL with OR approaches to solving scheduling problems, which leverages the respective strengths of RL and OR: The MDP narrows down the search space of the original problem through an RL method, while the mixed-integer programming process is settled by an OR algorithm. These two stages are performed iteratively and interactively until the termination criterion has been met. Under this idea, two implementation versions of the combination methods of RL and OR are put forward. The agile Earth observation satellite scheduling problem is selected as an example to demonstrate the effectiveness of the proposed scheduling framework and methods. The convergence and generalization capability of the methods are verified by the performance of training scenarios, while the efficiency and accuracy are tested in 50 untrained scenarios. The results show that the proposed algorithms could stably and efficiently obtain satisfactory scheduling schemes for agile Earth observation satellite scheduling problems. In addition, it can be found that RL-based optimization algorithms have stronger scalability than non-learning algorithms. This work reveals the advantage of combining reinforcement learning methods with heuristic methods or mathematical programming methods for solving complex combinatorial optimization problems.

研究动机与目标

• 解决多样且复杂的调度问题中缺乏通用、高效求解器的问题。
• 通过将调度分解为两个相互依赖的阶段，减轻大规模组合优化的计算负担。
• 将强化学习与运筹学技术相结合，以发挥各自优势：RL用于策略学习，OR用于精确解的优化。
• 评估RL优化在真实世界调度场景中的可扩展性、收敛性和泛化能力。
• 以敏捷地球观测卫星调度问题为代表，证明该框架在复杂调度任务中的有效性。

提出的方法

• 该框架将调度分解为两个阶段：(1) 通过有限马尔可夫决策过程（MDP）使用深度Q网络（DQN）求解任务分配；(2) 通过混合整数规划（MIP）使用OR算法求解排序与时间安排。
• MDP阶段采用兼顾即时回报与延迟回报的奖励函数，使智能体能够在无需手动设计规则的情况下学习长期调度策略。
• OR阶段使用构造性启发式算法（HADRT）或动态规划（DP）在任务分配后高精度求解子问题。
• 两个阶段通过迭代方式优化：基于OR求解质量的反馈，更新RL策略，从而随时间改善任务分配决策。
• 提出两种实现方式：DQN_CH（DQN结合HADRT）和DQN_DP（DQN结合DP），区别在于第二阶段使用的OR方法。
• 该框架在一组场景上进行训练，并在50个未见过的、未训练过的场景上进行测试，以评估泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 结合RL与OR的两阶段框架是否能有效解决具有高可扩展性与高效率的复杂调度问题？
• RQ2 将DQN与不同OR方法（HADRT与DP）结合，对解的质量与计算成本有何影响？
• RQ3 所提出的RL-OR框架是否能很好地泛化到训练集之外的未见调度场景？
• RQ4 在解的质量与运行时间方面，RL算法相较于传统方法（如B&B、ALNS）表现如何？
• RQ5 在第二阶段使用DP与启发式方法对整体优化性能有何影响？

主要发现

• DQN_DP在所有测试集上均取得最佳整体性能，解的质量优于DQN_CH、HADRT、ALNS和B&B，尤其在大规模问题上表现更优。
• DQN_DP在运行时间线性增加的同时保持了高质量解，而B&B在除最小测试集（H_20）外的所有测试集中均未能在3600秒内收敛。
• HADRT与基于DQN的方法（DQN_CH、DQN_DP）表现出稳定且快速的计算时间，标准差较低；而ALNS与B&B由于对输入敏感，表现出较高的方差。
• 基于DQN的算法在大规模问题（C_400）上平均在2秒内获得高质量解，展现出强大的可扩展性。
• 该框架表现出强大的泛化能力：在50个未训练过的场景中稳定且高效运行，证实其在训练分布之外的鲁棒性。
• 将RL与OR方法（尤其是DP）结合，取得了更优结果，表明高质量的子问题求解可显著提升MDP阶段的整体策略学习效果。