[論文レビュー] Scalable Multi-Agent Reinforcement Learning for Warehouse Logistics with Robotic and Human Co-Workers

Aleksandar Krnjaic, Steleac, Raul D.+9 more|arXiv (Cornell University)|Dec 22, 2022

Advanced Manufacturing and Logistics Optimization被引用数 8

ひとこと要約

本稿では、ロボットおよび人的なエージェントにタスクを割り当てて注文明細のピッキングパフォーマンスを最適化する、階層的マルチエージェント強化学習（MARL）フレームワークを提案する。マネージャー・ワーカーの階層構造により大規模なアクション空間を分解することで、多様な倉庫構成において、業界のヒューリスティクスよりも最大41.3%高いピッキングレートを達成した。同時に、サンプル効率性とスケーラビリティを維持した。

ABSTRACT

We consider a warehouse in which dozens of mobile robots and human pickers work together to collect and deliver items within the warehouse. The fundamental problem we tackle, called the order-picking problem, is how these worker agents must coordinate their movement and actions in the warehouse to maximise performance in this task. Established industry methods using heuristic approaches require large engineering efforts to optimise for innately variable warehouse configurations. In contrast, multi-agent reinforcement learning (MARL) can be flexibly applied to diverse warehouse configurations (e.g. size, layout, number/types of workers, item replenishment frequency), and different types of order-picking paradigms (e.g. Goods-to-Person and Person-to-Goods), as the agents can learn how to cooperate optimally through experience. We develop hierarchical MARL algorithms in which a manager agent assigns goals to worker agents, and the policies of the manager and workers are co-trained toward maximising a global objective (e.g. pick rate). Our hierarchical algorithms achieve significant gains in sample efficiency over baseline MARL algorithms and overall pick rates over multiple established industry heuristics in a diverse set of warehouse configurations and different order-picking paradigms.

研究の動機と目的

• ロボットと人的な作業者が混在する倉庫における注文明細ピッキングに適したスケーラブルで汎用的なMARLソリューションの開発。
• 変動する倉庫レイアウト、サイズ、運用制約に適応する際、従来のヒューリスティクス手法が要する高い工学的作業負荷の低減。
• 階層的ポリシー分解を用いて、複雑で動的な倉庫環境におけるサンプル効率性と全体的なピッキングレートの向上。
• 異なる最適化目的に柔軟に対応しつつ、多様な倉庫構成で確立された業界のヒューリスティクス（PDMおよびFM）を上回る性能を達成。
• 手動での再設計なしに、変化する倉庫状況に適応できる自動ポリシー学習の実現。

提案手法

• 中央マネージャーがワーカーエージェント（ピッカーおよびAGV）に目標を割り当てる階層的MARLアーキテクチャを設計し、連携アクション空間の複雑さを低減。
• 全体のシステムパフォーマンスを最大化するため、グローバル報酬信号（例：ピッキングレート）を用いてマネージャーとワーカーのポリシーをエンドツーエンドで同時に訓練。
• 独立型アクターキャリブレーター（IAC）、共有ネットワーク型アクターキャリブレーター（SNAC）、共有経験型アクターキャリブレーター（SEAC）の3つの既存MARLアルゴリズムの上に階層的フレームワークを統合。
• 高精細でシミュレーション最適化された環境を用いて、実世界の倉庫ダイナミクス（在庫補充、エージェント移動、注文完了など）をモデル化。
• 訓練の安定性とスケーラビリティを向上させるために、倉庫を等サイズのゾーン（Y）に空間分割。
• 経験リプレイとターゲットネットワークを用いた深層強化学習でポリシーを訓練し、1時間あたりの注文ライン数を主な指標として最適化。

実験結果

リサーチクエスチョン

• RQ1 非階層的MARLベースラインと比較して、階層的MARLアプローチは複雑なマルチエージェント倉庫物流において、サンプル効率性と全体的なピッキングレートを顕著に向上させることができるか？
• RQ2 PDMおよびFMという確立された業界のヒューリスティクスを、Small、Medium、Large、Disjointレイアウトを含む多様な倉庫構成でどの程度上回ることができるか？
• RQ3 アクション空間の階層的分解は、ロボットと人的な作業者が混在するチームにおけるパフォーマンス、移動距離、アイドル時間のトレードオフにどのように影響するか？
• RQ4 再トレーニングなしに、変動する倉庫サイズ、エージェント数、アイテム分布パターンに一般化可能か？
• RQ5 学習されたポリシーに予期しない副作用（移動距離の増加、アイドル時間の短縮など）が生じるか？それらは運用コストや作業者福祉にどのような影響を及えるか？

主な発見

• 階層的MARLアルゴリズム（HIAC、HSNAC、HSEAC）は、すべてのテストされた倉庫構成で非階層的MARLベースライン（IAC、SNAC、SEAC）および業界のヒューリスティクス（PDMおよびFM）を一貫して上回った。
• Disjoint構成では、HSEACがFMヒューリスティクス比で41.3%高いピッキングレートを達成し、PDM比でも18.6%の改善を示した。これは、複雑なレイアウトにおいても優れた一般化性能を示している。
• Large構成では、HSEACがFM比で11.4%、PDM比で22.0%高い性能を示した。これは、高複雑度下でも階層的アプローチのスケーラビリティの高さを示している。
• 階層的アルゴリズムは、非階層的対比と比較して、特に大規模かつ複雑な環境において顕著に高速に収束した。これは、サンプル効率性の向上を示している。
• ピッキングレートは顕著に向上したが、学習されたポリシーは総移動距離を増加させ、ピッカーのアイドル時間を短縮した。これは、保守コストおよび作業者福祉に影響を及える可能性のあるトレードオフを示唆している。
• タスクの難易度が低かったSmall構成では、IACが階層的手法と比較して同等のパフォーマンス（2.2%以内の差）を示した。これは、階層的アプローチの利点が主に複雑な環境で顕著に現れることを示している。