[論文レビュー] Solving the Order Batching and Sequencing Problem using Deep Reinforcement Learning

Bram Cals, Yingqian Zhang+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Manufacturing and Logistics Optimization参考文献 28被引用数 4

ひとこと要約

本稿では、ハイブリッド・ピーソン・トゥ・グッズ（PtG）およびグッズ・トゥ・ピーソン（GtP）型倉庫におけるオーダー・バッチングおよびシーケンシング問題（OBSP）を、ベクトルベースの状態表現を用いた半マルコフ決定過程（SMDP）として定式化することで、プロキシマル・ポリシー最適化（PPO）を用いた深層強化学習（DRL）アプローチを提案する。DRLエージェントは、従来のヒューリスティクスを上回り、遅延注文率が低く抑えられ、注文量や時間帯の変化に対しても優れた一般化性能を示した。

ABSTRACT

In e-commerce markets, on time delivery is of great importance to customer satisfaction. In this paper, we present a Deep Reinforcement Learning (DRL) approach for deciding how and when orders should be batched and picked in a warehouse to minimize the number of tardy orders. In particular, the technique facilitates making decisions on whether an order should be picked individually (pick-by-order) or picked in a batch with other orders (pick-by-batch), and if so with which other orders. We approach the problem by formulating it as a semi-Markov decision process and develop a vector-based state representation that includes the characteristics of the warehouse system. This allows us to create a deep reinforcement learning solution that learns a strategy by interacting with the environment and solve the problem with a proximal policy optimization algorithm. We evaluate the performance of the proposed DRL approach by comparing it with several batching and sequencing heuristics in different problem settings. The results show that the DRL approach is able to develop a strategy that produces consistent, good solutions and performs better than the proposed heuristics.

研究の動機と目的

• 動的注文到着と混合PtG/GtPシステムを想定したeコマース倉庫において、遅延注文を最小化する課題に対処すること。
• 注文単位でのピッキングとバッチピッキングの動的意思決定および効果的なバッチシーケンシングを可能にする学習ベースの戦略を開発すること。
• 実世界の複雑な倉庫環境における、DRLエージェントの性能と一般化能力を、従来のヒューリスティクスと比較して評価すること。
• DRLが、NP困難な順序決定問題を解く上で、実用的かつ頑健であることを示すこと。

提案手法

• OBSPは、遅延報酬と可変な行動時間を持つ半マルコフ決定過程（SMDP）として定式化された。
• ベクトルベースの状態表現により、注文の締切時刻、商品の位置、システムタイプ（PtGまたはGtP）といった倉庫の特性が符号化された。
• プロキシマル・ポリシー最適化（PPO）アルゴリズムを用いて、深層Qネットワーク（DQN）とポリシー勾配法を組み合わせた学習により、最適なバッチングおよびシーケンシング方針が学習された。
• エージェントは、各行動の影響（遅延や歩行距離など）を計算するシミュレーテッド・ウォーキング環境と相互作用した。
• DRLモデルは多様な問題インスタンスで学習され、異なる注文量や時間窓における性能と一般化能力が評価された。
• 一般化性能は、特定のインスタンスサイズや時間帯で学習したエージェントを、未学習の分布外の設定に適用することでテストされた。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドPtG/GtP型倉庫環境において、DRLエージェントは従来のヒューリスティクスよりも優れたバッチングおよびシーケンシング戦略を学習できるか？
• RQ2 トレーニング時に見なかった注文数とは異なる問題インスタンスに対して、DRLエージェントの一般化性能はどの程度高いか？
• RQ3 注文変動が著しいピーク時間帯を含む異なる時間帯に応用した場合、DRLエージェントは一貫した性能を維持できるか？
• RQ4 DRLアプローチは、eコマースのピッキング環境における動的注文到着と不確実性を効果的に扱えるか？

主な発見

• DRLエージェントは500注文インスタンスにおいて平均0.75%の遅延注文率を達成し、全テストヒューリスティクスを上回った。
• 400注文で学習したエージェントは、400注文のテストインスタンスで1.08%の遅延注文率、500注文インスタンスで3.57%を記録し、より大きな注文量に対しても優れた一般化性能を示した。
• 19:00–20:00の時間帯で学習したエージェントは、19:00～00:00のランダムな時間帯でテストした際、平均0.66%の遅延注文率を達成し、時間的変動に対しても頑健であることが示された。
• 最後の1時間（23:00–00:00）をテストに含めた場合、性能はわずかに低下し、平均0.94%の遅延率を示した。これは、トレーニング中に見られなかったレアで小さなインスタンス状態が原因である。
• DRLモデルは多様な設定において一貫した性能を示し、標準偏差が低かった（例：400注文で1.68%、500注文で2.59%）、安定性が確認された。
• 結果から、DRLが、従来のヒューリスティクスが困難とする複雑で動的な倉庫意思決定問題に対して、効果的で適応可能な戦略を学習できることを確認した。