[論文レビュー] Reinforcement Learning on Job Shop Scheduling Problems Using Graph Networks.

Mohammed Sharafath Abdul Hameed, Andreas Schwung|arXiv (Cornell University)|Sep 8, 2020

Scheduling and Optimization AlgorithmsEngineering参考文献 42被引用数 18

ひとこと要約

本稿では、リソース間の相互作用をモデル化し、柔軟でスケーラブルな最適化を可能にする、グラフニューラルネットワークを用いた分散強化学習アプローチを提案する。マルチロボットおよび複雑な生産ベンチマークにおいて評価された結果、動的環境下でも優れた性能と適応性を示した。

ABSTRACT

This paper presents a novel approach for job shop scheduling problems using deep reinforcement learning. To account for the complexity of production environment, we employ graph neural networks to model the various relations within production environments. Furthermore, we cast the JSSP as a distributed optimization problem in which learning agents are individually assigned to resources which allows for higher flexibility with respect to changing production environments. The proposed distributed RL agents used to optimize production schedules for single resources are running together with a co-simulation framework of the production environment to obtain the required amount of data. The approach is applied to a multi-robot environment and a complex production scheduling benchmark environment. The initial results underline the applicability and performance of the proposed method.

研究の動機と目的

• リソース間の依存関係をモデル化することで、現実世界のジョブショップスケジューリングの複雑さと動的要因に対処すること。
• 分散学習エージェントを用いることで、変化する生産環境におけるスケジューリングの柔軟性を向上させること。
• 個々のリソースに強化学習エージェントを割り当てることで、スケーラブルで適応可能なスケジューリングを実現すること。
• 動的制約を伴う現実的で複雑なスケジューリング環境において、このアプローチを検証すること。
• グラフベースの深層強化学習が産業スケジューリングにおいて実現可能で、高い性能を発揮することを示すこと。

提案手法

• 生産環境におけるジョブ、マシン、リソース間の関係をモデル化するために、グラフニューラルネットワークが用いられる。
• 各リソースに専用の強化学習エージェントが割り当てられ、分散最適化が可能になる。
• エージェントは、リアルタイムの生産ダイナミクスを模倣する共同シミュレーションフレームワークと相互作用することで学習を行う。
• 本アプローチは、ジョブショップスケジューリングを分散最適化問題として扱い、スケーラビリティと適応性を向上させる。
• トレーニングデータは、RLエージェントと共同シミュレーション環境との継続的相互作用を通じて収集される。
• 本手法は、動的再構成および生産変更へのリアルタイム対応をサポートする。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、ジョブショップスケジューリング環境における複雑な相互依存関係を効果的にモデル化できるか？
• RQ2 リソースごとのエージェントを備えた分散強化学習アーキテクチャは、動的環境下でのスケジューリングの適応性をどのように向上させるか？
• RQ3 提案手法は、集中型または非グラフベースの手法と比較して、どの程度の性能向上を達成するか？
• RQ4 本手法は、複雑で多様なリソースを有する生産環境において、効果的にスケーリングできるか？
• RQ5 本手法は、産業スケジューリングシナリオのリアルタイムシミュレーションにおいて、どの程度一般化性能を示すか？

主な発見

• 提案手法は、グラフニューラルネットワークを用いて、複雑なリソース間の関係を効果的にモデル化できた。
• 分散強化学習エージェントは、集中型アプローチと比較して、動的生産環境下での適応性が優れていた。
• 本手法は、複雑な生産スケジューリングベンチマーク環境において、強力な性能を示した。
• 共同シミュレーションフレームワークにより、現実的な条件下でのトレーニングのための効率的なデータ収集が可能になった。
• 初期の結果から、マルチロボットおよび産業スケジューリングシナリオにおける本手法の適用可能性とスケーラビリティが確認された。
• グラフネットワークと分散強化学習の統合により、リアルタイムかつ柔軟なスケジューリング最適化が実現できた。