[論文レビュー] Multi-echelon Supply Chains with Uncertain Seasonal Demands and Lead Times Using Deep Reinforcement Learning

Júlio César Alves, Geraldo Robson Mateus|arXiv (Cornell University)|Jan 12, 2022

Supply Chain and Inventory Management被引用数 5

ひとこと要約

本稿では、不確実な季節的需要と確率的リードタイムを伴うマルチエコノミー供給チェーン計画を解消するためのプロキシマルポリシー最適化（PPO2）深層強化学習手法を提案する。確率的リードタイムのシナリオでは線形プログラミング（LP）ベースラインを7.3–11.2%上回り、非季節的不確実需要のケースでは2.2–4.7%上回り、高い不確実性下でも強力な実用性を示している。

ABSTRACT

We address the problem of production planning and distribution in multi-echelon supply chains. We consider uncertain demands and lead times which makes the problem stochastic and non-linear. A Markov Decision Process formulation and a Non-linear Programming model are presented. As a sequential decision-making problem, Deep Reinforcement Learning (RL) is a possible solution approach. This type of technique has gained a lot of attention from Artificial Intelligence and Optimization communities in recent years. Considering the good results obtained with Deep RL approaches in different areas there is a growing interest in applying them in problems from the Operations Research field. We have used a Deep RL technique, namely Proximal Policy Optimization (PPO2), to solve the problem considering uncertain, regular and seasonal demands and constant or stochastic lead times. Experiments are carried out in different scenarios to better assess the suitability of the algorithm. An agent based on a linearized model is used as a baseline. Experimental results indicate that PPO2 is a competitive and adequate tool for this type of problem. PPO2 agent is better than baseline in all scenarios with stochastic lead times (7.3-11.2%), regardless of whether demands are seasonal or not. In scenarios with constant lead times, the PPO2 agent is better when uncertain demands are non-seasonal (2.2-4.7%). The results show that the greater the uncertainty of the scenario, the greater the viability of this type of approach.

研究の動機と目的

• 季節的需要と確率的リードタイムを伴うマルチエコノミー供給チェーンにおける生産計画と流通の課題に対処すること。
• 複雑な現実世界のダイナミクスを捉えるために、問題をマルコフ決定過程（MDP）と非線形プログラミング（NLP）モデルとして定式化すること。
• 多様な確率的シナリオにおける深層強化学習（特にPPO2）と線形プログラミング（LP）ベースラインの性能を評価すること。
• PPO2エージェントの、需要とリードタイムの不確実性の程度が異なる状況におけるロバストネスと適応性を評価すること。
• オペレーションズリサーチで一般的な高次元で逐次的な意思決定問題におけるモデルフリー強化学習の実現可能性を示すこと。

提案手法

• 360ステップの計画ホライズンを有するマルコフ決定過程（MDP）としてマルチエコノミー供給チェーンを形式化する。
• エンドツーエンドで最適な生産および流通ポリシーを学習するために、深層強化学習アルゴリズムであるプロキシマルポリシー最適化（PPO2）を用いる。
• 4エコノミー（サプライヤー、工場、卸売業者、小売業者）における確率的リードタイムと季節的需要パターンをモデル化したシミュレーション環境を用いてPPO2エージェントを訓練する。
• 需要とリードタイム特性が異なる17の異なるシナリオにおいて、PPO2のパフォーマンス最適化のためのハイパーパramータチューニングを実施する。
• 予測された需要と平均リードタイムに基づいて訓練された線形プログラミング（LP）エージェントを比較のためのベースラインとして実装する。
• 統計的信頼性を確保するため、100回の独立したテストエピソードで訓練済みエージェントを評価する。

実験結果

リサーチクエスチョン

• RQ1 PPO2は、不確実な季節的需要と確率的リードタイムを伴う4エコノミー供給チェーンにおける逐次的意思決定問題を効果的に処理できるか？
• RQ2 確率的リードタイムと定常リードタイムの両方のシナリオにおいて、PPO2のパフォーマンスは線形プログラミング（LP）ベースラインと比べてどのように異なるか？
• RQ3 季節的需要パターンの存在が、PPO2とLPベースラインの相対的パフォーマンスに影響を与えるか？
• RQ4 需要とリードタイムの不確実性が、伝統的な最適化手法と比較して深層強化学習の優位性をどれほど高めるか？
• RQ5 PPO2エージェントは、再訓練を完全に再開することなく、継続的なトレーニングにより需要分布や能力制約の変更に適応できるか？

主な発見

• 確率的リードタイムを伴うすべてのシナリオにおいて、PPO2はLPベースラインを7.3–11.2%上回り、需要が季節的かどうかに関わらず同様の優位性を示す。
• リードタイムが一定のシナリオでは、需要が不確実で非季節的である場合、PPO2はLPベースラインを2.2–4.7%上回る。
• 需要が季節的でリードタイムが一定のシナリオでは、PPO2とLPベースラインのパフォーマンスは同等であり、低不確実性下では顕著な利点がないことを示している。
• PPO2とベースラインのパフォーマンスギャップは不確実性が高くなるほど拡大し、深層RLが複雑で確率的な条件下で特に効果的であることを確認している。
• PPO2エージェントは効果的に季節的セーフティストックを構築し、ブルームフィッシュ効果を緩和しており、エコノミー間での有効な調整を示している。
• PPO2のモデルフリー特性により、需要分布や能力制約の変更といった新しいシナリオに対し、完全な再トレーニングを経ずに後続の適応が可能である。