[論文レビュー] A Two-stage Framework and Reinforcement Learning-based Optimization Algorithms for Complex Scheduling Problems

Yong‐Ming He, Guohua Wu+2 more|arXiv (Cornell University)|Mar 10, 2021

Satellite Communication Systems参考文献 37被引用数 6

ひとこと要約

本稿は、複雑なスケジューリング問題に対する2段階の強化学習（RL）ベースの最適化フレームワークを提案する。この手法は、タスクの割り当てにRL（有限マルコフ決定過程としてモデル化）を、順序付けと時刻割り当てにオペレーションズリサーチ（OR）手法（例：混合整数プログラミング）を組み合わせる。このアプローチにより、高品質で安定した解が、高い効率性で得られ、DQNベースのアルゴリズムが、アジャイル地球観測衛星のスケジューリング問題において、従来の手法よりも速度と解の品質の両面で優れている。

ABSTRACT

There hardly exists a general solver that is efficient for scheduling problems due to their diversity and complexity. In this study, we develop a two-stage framework, in which reinforcement learning (RL) and traditional operations research (OR) algorithms are combined together to efficiently deal with complex scheduling problems. The scheduling problem is solved in two stages, including a finite Markov decision process (MDP) and a mixed-integer programming process, respectively. This offers a novel and general paradigm that combines RL with OR approaches to solving scheduling problems, which leverages the respective strengths of RL and OR: The MDP narrows down the search space of the original problem through an RL method, while the mixed-integer programming process is settled by an OR algorithm. These two stages are performed iteratively and interactively until the termination criterion has been met. Under this idea, two implementation versions of the combination methods of RL and OR are put forward. The agile Earth observation satellite scheduling problem is selected as an example to demonstrate the effectiveness of the proposed scheduling framework and methods. The convergence and generalization capability of the methods are verified by the performance of training scenarios, while the efficiency and accuracy are tested in 50 untrained scenarios. The results show that the proposed algorithms could stably and efficiently obtain satisfactory scheduling schemes for agile Earth observation satellite scheduling problems. In addition, it can be found that RL-based optimization algorithms have stronger scalability than non-learning algorithms. This work reveals the advantage of combining reinforcement learning methods with heuristic methods or mathematical programming methods for solving complex combinatorial optimization problems.

研究の動機と目的

• 多様で複雑なスケジューリング問題に対する汎用的で効率的なソルバーの不足に対処すること。
• 大規模な組み合わせ最適化の計算負荷を、スケジューリングを2つの相互に依存する段階に分解することで低減すること。
• 強化学習とオペレーションズリサーチ手法を統合し、両者の長所を活かすこと：RLによるポリシー学習と、ORによる正確な解の精錬。
• 実世界のスケジューリングシナリオにおけるRLベースの最適化のスケーラビリティ、収束性、一般化性能を評価すること。
• 代表的な複雑なスケジューリングタスクとしてのアジャイル地球観測衛星スケジューリング問題において、フレームワークの有効性を示すこと。

提案手法

• フレームワークはスケジューリングを2段階に分解する：(1) 深層Q学習（DQN）で解く有限マルコフ決定過程（MDP）によるタスク割り当て、(2) ORアルゴリズムで解く混合整数プログラミング（MIP）による順序付けと時刻割り当て。
• MDP段階では、即時の報酬と遅延報酬の両方をバランスさせる報酬関数を用い、手動のルール設計なしに長期的なスケジューリングポリシーを学習可能にする。
• OR段階では、タスク割り当て後の部分問題を、構成的ヒューリスティクス（HADRT）または動的計画法（DP）を用いて高精度に解く。
• 2段階は反復的に最適化される：ORの解の品質に基づいたフィードバックにより、RLポリシーが更新され、段階を経るごとに割り当て意思決定が改善される。
• 2つの実装が提案される：DQN_CH（HADRTを併用するDQN）とDQN_DP（DPを併用するDQN）、2段階目のOR手法の違いが特徴。
• フレームワークは特定のシナリオセットで学習され、50の未学習・未訓練のシナリオでテストされ、一般化性能とロバストネスが評価される。

実験結果

リサーチクエスチョン

• RQ1 RLとORを組み合わせた2段階フレームワークは、スケーラビリティと効率性を兼ね備えた複雑なスケジューリング問題を効果的に解けるか？
• RQ2 DQNを異なるOR手法（HADRT対DP）と統合した場合、解の品質と計算コストにどのような影響を与えるか？
• RQ3 提案されたRL-ORフレームワークは、学習セットを超えた未観測のスケジューリングシナリオにも一般化できるか？
• RQ4 B&B や ALNS などの従来手法と比較して、RLベースのアルゴリズムの解の品質と実行時間はどのように異なるか？
• RQ5 2段階目のDPとヒューリスティクスの使用が、全体の最適化性能に与える影響は何か？

主な発見

• DQN_DPが、すべてのテストセットでDQN_CH、HADRT、ALNS、B&Bを上回る最高の全体的な性能を達成し、特に大規模問題において顕著に優れた解の品質を示した。
• DQN_DPは、実行時間が線形に増加する一方で、B&Bは20個の問題（H_20）を除き、3600秒以内に収束しなかった。
• HADRTおよびDQNベースの手法（DQN_CH、DQN_DP）は、計算時間の標準偏差が低く安定しており、ALNS や B&B とは異なり、入力への感受性による高いばらつきを示さなかった。
• DQNベースのアルゴリズムは、大規模問題（C_400）において平均2秒未満で高品質な解を得られ、優れたスケーラビリティを示した。
• フレームワークは優れた一般化性能を示した：50の未訓練のシナリオにおいても安定的かつ効率的に動作し、学習分布外でもロバストであることが確認された。
• 特にDPを用いたRLとOR手法の統合により、優れた結果が得られた。これは、高品質な部分問題の解が、MDP段階における全体のポリシー学習を強化していることを示している。