[論文レビュー] Manufacturing Dispatching using Reinforcement and Transfer Learning

Shuai Zheng, Chetan Gupta+1 more|arXiv (Cornell University)|Oct 4, 2019

Scheduling and Optimization Algorithms参考文献 35被引用数 13

ひとこと要約

本稿では、作業フロントの状態を2次元行列としてモデル化し、ジョブのスラック時間とカスタムの遅延・遅延報酬を組み込んだ深層強化学習（DRL）ベースのディスpatchingシステムを提案する。さらに、多様な製造ラインに跨るポリシーの一般化を可能にするため、多様体アライメントを用いた転移学習フレームワークを導入し、訓練時間を顕著に短縮するとともに、ベースライン手法を上回る性能を発揮する。

ABSTRACT

Efficient dispatching rule in manufacturing industry is key to ensure product on-time delivery and minimum past-due and inventory cost. Manufacturing, especially in the developed world, is moving towards on-demand manufacturing meaning a high mix, low volume product mix. This requires efficient dispatching that can work in dynamic and stochastic environments, meaning it allows for quick response to new orders received and can work over a disparate set of shop floor settings. In this paper we address this problem of dispatching in manufacturing. Using reinforcement learning (RL), we propose a new design to formulate the shop floor state as a 2-D matrix, incorporate job slack time into state representation, and design lateness and tardiness rewards function for dispatching purpose. However, maintaining a separate RL model for each production line on a manufacturing shop floor is costly and often infeasible. To address this, we enhance our deep RL model with an approach for dispatching policy transfer. This increases policy generalization and saves time and cost for model training and data collection. Experiments show that: (1) our approach performs the best in terms of total discounted reward and average lateness, tardiness, (2) the proposed policy transfer approach reduces training time and increases policy generalization.

研究の動機と目的

• 高ミックス・ローユニット生産環境における動的で確率的な製造環境に対応し、適応的ディスパッチシステムを構築すること。
• 特化した報酬関数を用いた強化学習により、遅延および在庫コストを最小化すること。
• 各生産ラインごとに別個のRLモデルを訓練する高コストを回避し、異なる作業フロント構成間でポリシーを転送可能にすること。
• 多様体アライメントに基づく転移学習により一般化性能を向上させるとともに、データおよびインfra構成要件を低減すること。

提案手法

• 作業フロントの状態を、ジョブおよびマシン情報の両方を捉えた2次元行列として定式化し、表現力を向上させる。
• 意思決定の関連性を高めるために、ジョブのスラック時間を状態表現に組み込む。
• 納期に基づくスケジューリング目標に整合するように、遅延および遅延に対するペナルティを課す報酬関数を設計する。
• ポリシー勾配法を用いた深層強化学習を適用し、ディスパッチポリシーを最適化する。
• ソースおよびターゲットの作業フロント環境間で共有される潜在空間を学習するために、多様体アライメントを用いる。
• 順序付き意思決定問題における有効な転移学習を可能にするために、状態の系列からアクションを回復する手法を開発する。

実験結果

リサーチクエスチョン

• RQ1 動的で確率的な製造環境、変動するジョブミックスおよび到着レートを伴う状況において、深層強化学習モデルは効果的にディスパッチポリシーを学習できるか？
• RQ2 スラック時間とカスタムの遅延・遅延報酬を組み込むことで、標準的なヒューリスティクスと比較してディスパッチ性能がどのように向上するか？
• RQ3 多様体アライメントを用いた事前学習済みディスパッチポリシーを、異なる作業フロント構成間でどの程度転送できるか？
• RQ4 転移学習により、新しい環境で初期化してから訓練する場合と比較して、訓練時間を短縮し、ポリシーの一般化性能を向上させられるか？

主な発見

• 提案された深層製造ディスパッチ（DMD）モデルは、19の実験設定のうち18で最高の総割引報酬を達成し、平均遅延および遅延も最低であった。
• 19の設定のうち16で、DMDは平均遅延および遅延の観点ですべてのベースラインを上回り、優れたスケジューリング性能を示した。
• 多様体アライメントに基づくポリシーライティングにより、訓練時間を短縮し、ポリシーの一般化性能を向上させた。特に、転送初期化されたモデルは、初期化なしで訓練したモデルよりも優れた性能を発揮した。
• 転移学習アプローチは、同じ環境および異なった環境設定の両方で有効であった。ジョブ到着レートやマシン容量の変化に対しても効果を示した。
• 転移学習を組み込んだハイパーヒューリスティクスも、初期化なしで訓練した場合と比較して、同等またはより優れた結果を示し、転送フレームワークの広範な適用可能性を裏付けた。
• シミュレータベースの評価により、DMDモデルが、ジョブキュー長、処理能力、到着分布の変化を含む多様な構成にわたり、良好に一般化できることを確認した。