[論文レビュー] Simultaneous Decision Making for Stochastic Multi-echelon Inventory Optimization with Deep Neural Networks as Decision Makers

Mohammad Pirhooshyaran, Lawrence Snyder|arXiv (Cornell University)|Jun 9, 2020

Supply Chain and Inventory Management被引用数 7

ひとこと要約

本稿では、一般のトポロジーを有する確率的マルチエッチョンサプライチェーンにおいて、注文補充水準（OUL）を最適化するための深層強化学習フレームワークを提案する。深層ニューラルネットワーク（DNN）を統合意思決定者として用い、すべてのサプライチェーンエッジで同時に環境と相互作用する訓練を実施することで、ベイズ最適化手法よりも少ない環境インタラクションで近似的最適性能を達成する。非線形コスト構造や任意の需要分布を有する複雑なネットワークにおいても有効である。

ABSTRACT

We propose a framework that uses deep neural networks (DNN) to optimize inventory decisions in complex multi-echelon supply chains. We first introduce pairwise modeling of general stochastic multi-echelon inventory optimization (SMEIO). Then, we present a framework which uses DNN agents to directly determine order-up-to levels between any adjacent pair of nodes in the supply chain. Our model considers a finite horizon and accounts for the initial inventory conditions. Our method is suitable for a wide variety of supply chain networks, including general topologies that may contain both assembly and distribution nodes, and systems with nonlinear cost structures. We first numerically demonstrate the effectiveness of the method by showing that its solutions are close to the optimal solutions for single-node and serial supply chain networks, for which exact methods are available. Then, we investigate more general supply chain networks and find that the proposed method performs better in terms of both objective function values and the number of interactions with the environment compared to alternate methods.

研究の動機と目的

• 確率的需要と有限ホライズン下でスケーラブルかつ解釈可能な同時マルチエッチョン在庫最適化手法の開発。
• 行動空間や状態空間を離散化せずに、DNNエージェントが直接解釈可能な注文補充水準（OUL）を出力可能とする。
• 古典的手法では計算が困難な複雑なサプライチェーンネットワークにおいて、本手法の有効性を実証すること。
• DFO や Spearmint といった代替最適化手法と比較し、コスト、収束速度、環境インタラクションの効率性の観点からDNNベースの手法の性能を評価すること。
• 直列型および一般トポロジーにおいてフレームワークを検証し、多様な需要分布やコスト構造においても安定性を示すこと。

提案手法

• フレームワークは、各サプライチェーンエッジを個別のDNNエージェントとしてモデル化し、そのリンクのOULを決定する責任を負わせる。
• 各DNNエージェントは有限ホライズン設定下で環境（サプライチェーンネットワーク）と相互作用し、強化学習を通じて総システムコストを最小化するように学習する。
• 本手法はペアワイズモデリングアプローチを採用しており、各DNNは局所的な状態情報（在庫レベル、需要分布、リードタイム）に基づき、グローバル意思決定を下す。
• DNNはポリシー勾配法を用いて訓練され、行動空間（OUL）の離散化なしに連続的空間を扱える。
• 訓練プロセスはリードタイム需要レベルで初期化され、定常状態に近い条件を再現することで、無限ホライズンの解析的解と比較可能となる。
• 本フレームワークは一般のネットワークトポロジー（アセンブリノードやディストリビューションノードを含む）をサポートし、非線形コスト構造に対しても対応可能である。

実験結果

リサーチクエスチョン

• RQ1 DNNエージェントは、一般のマルチエッチョンネットワークにおいて、複数のサプライチェーンエッジで同時に最適な注文補充水準（OUL）を学習できるか？
• RQ2 DNNベースの手法は、古典的手法および代替ベイズ最適化手法（DFO, Spearmint）と比較して、コストと収束効率の面でどのように差をつけるか？
• RQ3 本手法は、異なるネットワークトポロジー、需要分布、コスト構造においても性能と安定性を維持できるか？
• RQ4 行動空間や状態空間を離散化せずに、DNNが解釈可能で連続的なOULをどれほど正確に学習できるか？
• RQ5 上流側ノードが下流ノードよりも著しく多くのセーフティ在庫を保有する複雑なネットワークにおいて、本手法はどのように性能を発揮するか？

主な発見

• 単一ノードおよび直列型サプライチェーンネットワークにおいて、DNNベースの手法は最適解から1.5%以内の総コストを達成し、高い精度を示した。
• 複雑なミックスネットワークでは、DFO手法と比較して平均で16.5%のコスト削減を達成し、環境インタラクション数も著しく少なかった。
• 13エッジを有する複雑なSCNにおいて、DNN手法の総コストは478.61であったのに対し、DFOは644.41、Spearmintは618.44であった。コスト性能において顕著な優位性を示した。
• DNN手法は500回未満の環境インタラクションで収束を達成し、計算効率の面でアンマッチドベースの手法を上回った。
• 上流エッチョン（例：0 ←1）では、平均需要の2倍以上にのぼるOULが保持されており、複雑なネットワークにおける効果的なセーフティ在庫配分が実現された。
• 複数回の実行において安定した収束を示し、直列型およびミックスネットワーク構成の両方で一貫した学習曲線と損失挙動を示した。