[論文レビュー] Comparing Deep Reinforcement Learning Algorithms in Two-Echelon Supply Chains

Francesco Stranieri, Fabio Stella|arXiv (Cornell University)|Apr 20, 2022

Supply Chain and Inventory Management参考文献 22被引用数 4

ひとこと要約

本稿は、確率的かつ季節的需要を伴う二段階在庫管理におけるカスタマイズ可能でオープンソースの深層強化学習（DRL）環境を提案する。本環境は、任意の数の倉庫と製品タイプをサポートする。最先端のDRLアルゴリズム（PPO、A3C、VPG、BO）を評価した結果、PPOが一貫して他のアルゴリズムを上回り、特に複数の製品や倉庫を含む複雑なトポロジーにおいて準オラクル性能を示した。

ABSTRACT

In this study, we analyze and compare the performance of state-of-the-art deep reinforcement learning algorithms for solving the supply chain inventory management problem. This complex sequential decision-making problem consists of determining the optimal quantity of products to be produced and shipped across different warehouses over a given time horizon. In particular, we present a mathematical formulation of a two-echelon supply chain environment with stochastic and seasonal demand, which allows managing an arbitrary number of warehouses and product types. Through a rich set of numerical experiments, we compare the performance of different deep reinforcement learning algorithms under various supply chain structures, topologies, demands, capacities, and costs. The results of the experimental plan indicate that deep reinforcement learning algorithms outperform traditional inventory management strategies, such as the static (s, Q)-policy. Furthermore, this study provides detailed insight into the design and development of an open-source software library that provides a customizable environment for solving the supply chain inventory management problem using a wide range of data-driven approaches.

研究の動機と目的

• 確率的かつ季節的需要を伴う二段階在庫管理（SCIM）のための柔軟でオープンソースのDRL環境を設計すること。
• 異なるサプライチェーントポロジー、製品タイプ、運用設定において、最先端のDRLアルゴリズム（PPO、A3C、VPG、BO）の性能を比較すること。
• DRLの性能を、データ駆動型の(s, Q)-ポリシーとオラクルベースラインと比較して、有効性と最適性ギャップを評価すること。
• オープンサイエンスの原則に従い、標準化されたGym互換のSCIM環境をリリースすることで、再現可能な研究を可能にすること。

提案手法

• 有限の倉庫容量、確率的かつ季節的需要、複数の製品タイプを伴う二段階SCIM問題を、マーカフ決定過程（MDP）フレームワークを用いて形式化する。
• DRLエージェントの状態、行動、報酬定義を標準化するため、OpenAI Gym風のAPIを用いたカスタムで拡張可能な環境を実装する。
• 4つのDRLアルゴリズムを適用：近接方策最適化（PPO）、アドバンテージアクターキャリブレーション（A3C）、価値方策勾配（VPG）、ベイズ最適化（BO）によるハイパーパramータチューニング。
• 遅延納品と在庫保持コストに対するペナルティを課し、早期納品と在庫効率性に対する報酬を含む利益最大化を目的関数とする。
• 公平な比較のため、(s, Q)-ポリシーのパラメータをデータ駆動的にチューニングするアプローチを採用する。
• 15の構成（3シナリオ × 各5回の実験）にわたる広範な実験を実施し、倉庫数、製品タイプ、需要パターン、コスト構造の変動を想定する。

実験結果

リサーチクエスチョン

• RQ1 PPO、A3C、VPG、BOといった異なるDRLアルゴリズムは、多様な二段階サプライチェーントポロジーと構成において、利益最大化の観点でどのように性能を発揮するか？
• RQ2 複雑で確率的かつ季節的特性を持つSCIM環境において、DRLエージェントは伝統的な(s, Q)-ポリシーをどの程度上回れるか？
• RQ3 DRLエージェントは、事前に最適な行動を知っているオラクルにどの程度近づけるか？
• RQ4 複雑性の増加（例：より多くの倉庫、複数の製品、高い需要変動）に伴い、DRLアルゴリズムのスケーラビリティとロバストネスはどのように変化するか？

主な発見

• PPOは全シナリオで最高の平均利益を達成し、他のDRLアルゴリズムを一貫して上回り、オラクルの性能に最も近づいた。
• 1P1Wシナリオでは、BOが準オラクルの結果（1226 ± 71 vs. 1474 ± 45）を達成したが、複数の製品や倉庫を含むより複雑な設定では性能が著しく低下した。
• 1P3WシナリオのExp 4では、PPOが1600 ± 62の利益（オラクル：2046 ± 37）を達成したのに対し、BOは1633 ± 39にとどまり、PPOの優れたスケーラビリティが示された。
• VPGは安定したが非最適な収束を示し、特に倉庫数の増加に伴い局所最適解に陥りやすい傾向にあった。
• A3CとVPGは高複雑度の実験で劣悪な性能を示し、特に困難な1P3W実験ではA3Cが−2142 ± 128の利益（負の利益）を記録した。
• (s, Q)-ポリシーは、短期的かつ非適応的ではあるが、一部の状況でA3CやVPGを上回った。これは、特定のDRLアプローチが複雑な環境において限界に達していることを示唆している。