[論文レビュー] Reinforcement Learning for Multi-Product Multi-Node Inventory Management in Supply Chains

Nazneen N. Sultana, Hardik Meisheri+4 more|arXiv (Cornell University)|Jun 7, 2020

Supply Chain and Inventory ManagementBusiness, Management and Accounting参考文献 35被引用数 17

ひとこと要約

本稿では、連続的補充意思決定を離散的アクションステップで扱える量子化されたアクション空間を用いたアドバンテージアクターキャリブレーター（A2C）を用いた階層的マルチエージェント強化学習（MARL）フレームワークを提案し、在庫管理における大規模・多品目・多ノードの供給チェーン問題を解決する。強化学習手法がヒューリスティック手法を上回り、クラリヴォイアント性能に近づくことを示しており、新規品目や新規店舗の動的変化に対しても転移学習により対応可能である。

ABSTRACT

This paper describes the application of reinforcement learning (RL) to multi-product inventory management in supply chains. The problem description and solution are both adapted from a real-world business solution. The novelty of this problem with respect to supply chain literature is (i) we consider concurrent inventory management of a large number (50 to 1000) of products with shared capacity, (ii) we consider a multi-node supply chain consisting of a warehouse which supplies three stores, (iii) the warehouse, stores, and transportation from warehouse to stores have finite capacities, (iv) warehouse and store replenishment happen at different time scales and with realistic time lags, and (v) demand for products at the stores is stochastic. We describe a novel formulation in a multi-agent (hierarchical) reinforcement learning framework that can be used for parallelised decision-making, and use the advantage actor critic (A2C) algorithm with quantised action spaces to solve the problem. Experiments show that the proposed approach is able to handle a multi-objective reward comprised of maximising product sales and minimising wastage of perishable products.

研究の動機と目的

• 倉庫と複数の店舗で共有される容量を有する大規模な在庫管理を、50～1000品目の同時管理という課題に取り組む。
• 在庫・店舗・輸送の有限容量を有する現実の二段階供給チェーンをモデル化し、時間遅れのある確率的補充を扱う。
• 時間スケールやノードごとに異なる意思決定を調整できる、スケーラブルで並列処理可能なマルチエージェントRLシステムを構築する。
• 新規品目や新規店舗の追加に対応するため、再訓練なしに可能となる動的拡張性を備えた転移学習を実装する。
• 販売最大化と腐敗しやすい商品の廃棄最小化をバランスさせる多目的報酬関数を最適化する。

提案手法

• 在庫管理を、店舗と倉庫を独立したエージェントとして扱う階層的マルチエージェント強化学習問題として定式化する。
• 連続的補充意思決定を離散的アクションステップで扱えるように、量子化されたアクション空間を用いたアドバンテージアクターキャリブレーター（A2C）アルゴリズムを採用する。
• 学習を2段階に分解する：まず、在庫容量が無限大であると仮定して店舗エージェントを学習し、次にその累積的な店舗パフォーマンスをスカラー報酬として用いて倉庫エージェントを学習する。
• 環境ダイナミクスに時間遅れのある補充と、在庫・店舗・トラックの有限容量を組み込む。
• 事前学習済みモデルを再利用することで転移学習を適用：新規品目や新規店舗に対しては、正規化統計の微調整のみで再学習なしに処理可能である。
• 腐敗しやすい商品の在庫廃棄最小化と販売最大化を組み合わせた多目的報酬関数を定義する。

実験結果

リサーチクエスチョン

• RQ1 有限容量を持つ供給チェーンにおいて、階層的マルチエージェントRLフレームワークは、複数品目・複数ノードにまたがる補充意思決定を効果的に調整できるか？
• RQ2 ヒューリスティック法とクラリヴォイアントオラクルと比較して、提案手法の強化学習アプローチは販売および廃棄の観点でどの程度のパフォーマンスを示すか？
• RQ3 転移学習により、再訓練なしに新規品目や新規店舗への一般化がどの程度可能か？
• RQ4 学習された方策は、在庫レベルや需要予測の変化に、50、220、1000品目の異なる品目数に対してどのように反応するか？
• RQ5 共有トラック容量や確率的需要といったシステム制約下でも、強化学習システムはパフォーマンスを維持できるか？

主な発見

• 50、220、1000品目の全シナリオにおいて、強化学習エージェントはヒューリスティック法を上回り、在庫管理では最大46%、店舗では最大40%のパフォーマンス向上を達成した。
• 50品目の場合、強化学習モデルは在庫管理で0.428（正規化済み）、店舗で0.764～0.796のパフォーマンスを達成し、ヒューリスティック（0.299～0.673）を上回り、クラリヴォイアント方策（0.498～0.837）に近づいた。
• 転移学習により、在庫管理モデルは、店舗1の1.75倍容量を持つ新規店舗（店舗4）に対しても再訓練なしに処理可能であり、パフォーマンス0.446を達成した。これはヒューリスティック（0.373）を上回り、クラリヴォイアント（0.544）に近く、優れた性能を示した。
• 1000品目にスケーリングした際、容量制約の影響を反映して、平均補充量が低くなった。これは大数の法則に従った現実的で整合性のある反応である。
• 方策ヒートマップから、在庫が少ない場合や需要予測が高い場合に補充行動が増加し、在庫が増加するか予測が低下すると行動が減少することが確認され、直感的で安定した行動を示した。
• モデルは動的変化に対して高い耐性を示した：正規化の適応により、アーキテクチャや学習の再設計なしに、新規品目や新規店舗へのシームレスな適応が可能であった。