[論文レビュー] E-commerce warehousing: learning a storage policy

Adrien Rimélé, Philippe Grangier+3 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Manufacturing and Logistics Optimization参考文献 36被引用数 7

ひとこと要約

本稿では、部分的に観測可能なマルコフ意思決定過程（POMDP）とディープQラーニングを用いて、eコマースにおけるロボット移動型受託システム（RMFS）の在庫保管割り当てを動的に最適化する深層強化学習手法を提案する。この手法により、ロボットのサイクルタイムを最小化し、従来のポリシー比で最大14%の走行時間効率の向上が達成され、見通しの利くロールアウトを組み込むことで、最良のベースライン比で平均7.58%の向上を達成した。

ABSTRACT

E-commerce with major online retailers is changing the way people consume. The goal of increasing delivery speed while remaining cost-effective poses significant new challenges for supply chains as they race to satisfy the growing and fast-changing demand. In this paper, we consider a warehouse with a Robotic Mobile Fulfillment System (RMFS), in which a fleet of robots stores and retrieves shelves of items and brings them to human pickers. To adapt to changing demand, uncertainty, and differentiated service (e.g., prime vs. regular), one can dynamically modify the storage allocation of a shelf. The objective is to define a dynamic storage policy to minimise the average cycle time used by the robots to fulfil requests. We propose formulating this system as a Partially Observable Markov Decision Process, and using a Deep Q-learning agent from Reinforcement Learning, to learn an efficient real-time storage policy that leverages repeated experiences and insightful forecasts using simulations. Additionally, we develop a rollout strategy to enhance our method by leveraging more information available at a given time step. Using simulations to compare our method to traditional storage rules used in the industry showed preliminary results up to 14\% better in terms of travelling times.

研究の動機と目的

• 高頻度の需要変動と迅速な配送要件が求められるeコマース倉庫におけるロボットサイクルタイムの最小化という課題に取り組む。
• ロボット移動型受託システム（RMFS）における変化する注文ストリームと需要パターンに即時に適応する動的在庫ポリシーを構築する。
• 最短ルート（SL）やクラス別ポリシーといった静的在庫ルールの限界を乗り越え、繰り返しの経験からの学習と予測的インサイトを活用する。
• ロボット走行時間の短縮により、高集約・高速なeコマース受託における主要なボトル neck を解消し、システムスループットを向上させる。
• 新しい注文が完全に明らかでない状況でも、将来の注文影響を予測することで意思決定を強化するロールアウト戦略を統合する。

提案手法

• 注文到着の不確実性とシステム状態の不完全性を捉えるために、動的在庫割り当て問題を部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化する。
• 現在の倉庫状態を表す特徴量（需要予測やレイアウト情報など）に基づき、最適な在庫決定を学習するディープQラーニングエージェントを訓練する。
• 現在のポリシーとQ値推定値を用いて、有限ホライズンの軌道をシミュレートすることで、意思決定選択を前方予測（ロールアウト）によって改善するロールアウト戦略を実装する。
• ゾーンベースの在庫割り当てを採用することで、状態空間の複雑さを低減しつつ、ポリシーの柔軟性とスケーラビリティを維持する。
• さまざまな需要の歪度条件下で、シミュレーションベースの評価を用いて、学習済みポリシーを業界標準のベースライン（例：SL、クラス別）と比較する。
• ロールアウトのホライズン長を最適化するためのハイパーパramータチューニングを実施し、計算コストと性能向上のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 不確実で急変するeコマース需要下において、強化学習エージェントがロボットサイクルタイムを短縮する有効な動的在庫ポリシーを学習できるか？
• RQ2 見通しの利くロールアウト戦略を統合することで、ロールアウトなしの標準的ポリシーと比較して、Qラーニングベースの在庫ポリシーの性能はどの程度向上するか？
• RQ3 ロールアウトを組み込んだ本稿のディープQラーニング手法は、最短ルート（SL）やクラス別ポリシーといった従来の在庫ルールと比較して、相対的にどの程度のパフォーマンス向上を達成するか？
• RQ4 需要の歪度（パrameter s でモデル化）は、本稿の学習ベース在庫ポリシーのパフォーマンスにどの程度影響を及ぼすか？
• RQ5 ロールアウト戦略は、Qラーニングエージェントとベースラインポリシーの両方に対して効果的に適用可能であり、公平かつスケーラブルなパフォーマンス比較を可能にするか？

主な発見

• ロールアウトを組み込んだ本稿のディープQラーニングエージェントは、最良のベースライン（ロールアウト付き最短ルート）比で平均7.58%のパフォーマンス向上を達成し、ロボットサイクルタイムの最小化において顕著な改善を示した。
• ロールアウトなしの場合、Qラーニングエージェントは最良のベースライン（SL）を3.5%～5%のサイクルタイム短縮で上回り、学習ベースポリシーの価値を示した。
• ロールアウト戦略により、最短ルートポリシーでは約6%、Qラーニングエージェントでは約4%のパフォーマンス向上が達成され、ロールアウトが意思決定の質を著しく向上させることを示した。
• シミュレーションでは、従来の在庫ルール比で最大14%の走行時間短縮が達成され、特に高い需要歪度（s = 0.9–1.0）条件下で顕著であった。
• 歪度の高い需要分布下でパフォーマンス向上が最も顕著であり、エージェントがロールアウトにより将来の注文パターンを予測可能であるという点で、重要な優位性を発揮した。
• ロールアウトを強化したQラーニングポリシーは、すべてのテストされた需要歪度レベルで、ロールアウト有無に関わらずベースラインの最短ルートポリシーを含む、他のすべての設定を一貫して上回った。