[論文レビュー] An actor-critic algorithm with deep double recurrent agents to solve the job shop scheduling problem.

Marta Monaci, Valerio Agasucci+1 more|arXiv (Cornell University)|Oct 18, 2021

Scheduling and Optimization Algorithms参考文献 40被引用数 5

ひとこと要約

本稿では、ジョブショップスケジューリング問題（JSSP）を動的マルコフ決定過程としてモデル化することで、二重LSTMベースのエージェントを用いた深層強化学習アクターキャッチ機構を提案する。この手法は、多様なJSSPインスタンスからグリーディヒューリスティクスを学習し、迅速に高品質な解を得ることができ、大規模または分布が異なる問題に対しても効果的に一般化し、ベースラインヒューリスティクスを上回り、CPLEXと比較しても優れた性能を示す。

ABSTRACT

There is a growing interest in integrating machine learning techniques and optimization to solve challenging optimization problems. In this work, we propose a deep reinforcement learning methodology for the job shop scheduling problem (JSSP). The aim is to build up a greedy-like heuristic able to learn on some distribution of JSSP instances, different in the number of jobs and machines. The need for fast scheduling methods is well known, and it arises in many areas, from transportation to healthcare. We model the JSSP as a Markov Decision Process and then we exploit the efficacy of reinforcement learning to solve the problem. We adopt an actor-critic scheme, where the action taken by the agent is influenced by policy considerations on the state-value function. The procedures are adapted to take into account the challenging nature of JSSP, where the state and the action space change not only for every instance but also after each decision. To tackle the variability in the number of jobs and operations in the input, we modeled the agent using two incident LSTM models, a special type of deep neural network. Experiments show the algorithm reaches good solutions in a short time, proving that is possible to generate new greedy heuristics just from learning-based methodologies. Benchmarks have been generated in comparison with the commercial solver CPLEX. As expected, the model can generalize, to some extent, to larger problems or instances originated by a different distribution from the one used in training.

研究の動機と目的

• 医療や物流など、従来のソルバーよりも速くリアルタイムに利用可能なスケジューリングソリューションの需要に対応する。
• ジョブとマシンの数が異なるJSSPインスタンスにわたる、学習ベースのヒューリスティクスの一般化を実現する。
• 各スケジューリング意思決定後に変化する動的状態空間と行動空間の変動性に起因する課題を克服する。
• インスタンス固有の構造的変化に適応しつつ、学習効率を維持する強化学習フレームワークを設計する。

提案手法

• スケジューリング中に変化する状態空間と行動空間を有する、動的変化するマルコフ決定過程（MDP）としてJSSPをモデル化する。
• 方策（アクター）が状態価値関数（クリティック）によってガイドされる強化学習フレームワークを実装し、意思決定の質を向上させる。
• ジョブとマシンの変化する状態を処理できるように、2つの独立した長短期記憶（LSTM）ネットワークを用いてエンコードする。
• 行動空間を次に実行するジョブの選択として定義し、学習済みの方策と価値推定に基づいて意思決定を行う。
• ジョブ数とマシン数が異なるJSSPインスタンスの分布を用いて、エージェントをエンドツーエンドで深層強化学習で訓練する。
• 組み合わせ的複雑性とJSSPの動的構造に対応するため、ネットワークアーキテクチャと訓練手順を調整する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、多様なインスタンスサイズにわたって、効果的で一般化可能なヒューリスティクスをJSSPに対して学習できるか？
• RQ2 二重LSTMを用いたアクターキャッチフレームワークは、従来のヒューリスティクスやCPLEXのような商業ソルバーと比較して、どの程度の性能を示すか？
• RQ3 学習中に見られなかったより大規模な、あるいは分布が異なるJSSPインスタンスに対し、訓練済みエージェントはどの程度一般化できるか？
• RQ4 この手法は、短時間の推論時間内で高品質な解を生成するのにどの程度効果的か？

主な発見

• 提案手法は、短時間の推論時間でJSSPインスタンスに対して高品質な解を生成し、深層強化学習によるグリーディヒューリスティクスの学習の可能性を示している。
• エージェントは、より大きなJSSPインスタンスや、学習時に使用された分布とは異なるインスタンスに対しても一般化できており、強力な一般化能力を示している。
• 特に制限時間内の解の品質において、商業ソルバーよりも競争力のある性能を発揮しており、CPLEXと比較しても優れた結果を示している。
• 二重LSTMアーキテクチャは、ジョブとマシンの動的状態を効果的に捉えており、変動する入力サイズと進化する意思決定空間を処理できる。