[論文レビュー] Deep Inventory Management

Dhruv Madeka, Kari Torkkola+4 more|arXiv (Cornell University)|Oct 6, 2022

Supply Chain and Inventory Management被引用数 8

ひとこと要約

本論文は、確率的リードタイム、失注、相関する需要、価格一致を含む複雑な現実世界の条件下における定期的在庫管理のための深層強化学習手法、DirectBackpropを提案する。歴史的データを微分可能シミュレータに変換することで、モデルベース強化学習が可能となり、古典的なニュースベンダーポリシーおよびモデルフリー強化学習を凌駕し、シミュレートされたバックテストで23%の改善を達成し、実世界の展開では収益損失なしに在庫を12%低減した。

ABSTRACT

This work provides a Deep Reinforcement Learning approach to solving a periodic review inventory control system with stochastic vendor lead times, lost sales, correlated demand, and price matching. While this dynamic program has historically been considered intractable, our results show that several policy learning approaches are competitive with or outperform classical methods. In order to train these algorithms, we develop novel techniques to convert historical data into a simulator. On the theoretical side, we present learnability results on a subclass of inventory control problems, where we provide a provable reduction of the reinforcement learning problem to that of supervised learning. On the algorithmic side, we present a model-based reinforcement learning procedure (Direct Backprop) to solve the periodic review inventory control problem by constructing a differentiable simulator. Under a variety of metrics Direct Backprop outperforms model-free RL and newsvendor baselines, in both simulations and real-world deployments.

研究の動機と目的

• 確率的リードタイム、失注、相関する需要、および外部要因による価格一致を伴う定期的在庫管理の非可解性に対処すること。
• 状態ダイナミクスの明示的モデリングを必要とせず、歴史的データをシミュレータとして活用する手法を開発すること。
• 在庫ダイナミクス（リードタイム、需要、価格一致を含む）をモデル化する微分可能シミュレータを設計し、バックプロパゲーションによるエンドツーエンドのニューラルポリシー訓練を可能にすること。
• 10,000製品における大規模な実世界展開を含め、シミュレート環境および実世界の両方でアプローチを実証的に検証すること。
• モデルベース強化学習が、複雑な在庫システムにおいて、古典的および最新の強化学習ベースラインを上回ることを示すこと。

提案手法

• 著者らは、オフポリシーのデータおよび遮断効果を補正することで、歴史的データをシミュレータに変換し、在庫状態の進化をシミュレート可能にした。
• 在庫ダイナミクス（リードタイム、需要、価格一致を含む）をモデル化する微分可能シミュレータを導入し、勾配ベース最適化を可能にした。
• コアアルゴリズムであるDirectBackpropは、微分可能シミュレータを逆伝播することで、価値関数の近似を回避してポリシー目的を直接最適化する。
• 本手法は、状態遷移が既知であり微分可能であるとみなせるインタラクティブ意思決定プロセス（IDP）として在庫システムを扱う。
• 未観測の需要や失注による遮断観測を補正する新しいデータ補正技術を導入し、シミュレータの忠実性を向上させた。
• 理論的学習可能性の結果に基づき、特定の条件下では強化学習問題が教師あり学習に還元可能であることを示した。

実験結果

リサーチクエスチョン

• RQ1 需要やリードタイムの分布を明示的にモデリングせず、歴史的データを信頼性があり微分可能なシミュレータに変換できるか？
• RQ2 微分可能シミュレータを備えたモデルベース強化学習が、失注および確率的リードタイムを伴う在庫システムにおいて、モデルフリー強化学習および古典的ニュースベンダーポリシーを上回るか？
• RQ3 遮断観測およびオフポリシー行動を伴う実世界の歴史的データ上でトレーニングされた深層強化学習ポリシーが、効果的な在庫戦略をどれほど学習できるか？
• RQ4 DirectBackpropアルゴリズムは、相関する需要や外部要因による価格変更といった実世界の複雑さに対して頑健か？
• RQ5 在庫問題のサブクラスにおける理論的学習可能性の結果が、大規模な展開において実証的に検証可能か？

主な発見

• シミュレートされたバックテストにおいて、DirectBackpropポリシーはニュースベンダーベースライン比で報酬を23%改善し、現実的状況下での優れた性能を示した。
• 26週間にわたり10,000製品にわたる実世界展開において、DirectBackpropエージェントは在庫レベルを12%低減し、収益に統計的に有意な差異は認めなかった。
• シミュレーションおよび実世界の両設定において、DirectBackpropはすべての非オラクルポリシーを上回り、より高い報酬を得ながらも在庫を少なくした。
• 微分可能シミュレータのおかげで、需要やリードタイムの分布の明示的モデリングを必要とせず、パラメトリック仮定への依存を低減した。
• 本手法は、相関する需要、確率的リードタイム、価格一致を効果的に処理でき、これらは古典的動的プログラミング手法が破綻する要因とされている。
• 理論的結果により、特定の条件下では強化学習問題が教師あり学習に還元可能であることが示され、実証的成功の基盤が提供された。