[论文解读] A Versatile Multi-Agent Reinforcement Learning Benchmark for Inventory Management

Xianliang Yang, Zhihao Liu+5 more|arXiv (Cornell University)|Jun 13, 2023

Supply Chain and Inventory Management被引用 4

一句话总结

本文提出了MABIM，一个基于真实零售数据的多功能多智能体强化学习基准，用于多层级、多商品库存管理。该基准支持在可扩展性、协作、竞争及非平稳动态等挑战下评估MARL算法，结果表明在复杂场景中，混合方法（如IPPO+BS）优于纯MARL或运筹学（OR）方法。

ABSTRACT

Multi-agent reinforcement learning (MARL) models multiple agents that interact and learn within a shared environment. This paradigm is applicable to various industrial scenarios such as autonomous driving, quantitative trading, and inventory management. However, applying MARL to these real-world scenarios is impeded by many challenges such as scaling up, complex agent interactions, and non-stationary dynamics. To incentivize the research of MARL on these challenges, we develop MABIM (Multi-Agent Benchmark for Inventory Management) which is a multi-echelon, multi-commodity inventory management simulator that can generate versatile tasks with these different challenging properties. Based on MABIM, we evaluate the performance of classic operations research (OR) methods and popular MARL algorithms on these challenging tasks to highlight their weaknesses and potential.

研究动机与目标

• 为复杂、真实世界工业场景（如库存管理）中的多智能体强化学习（MARL）缺乏全面基准的问题提供解决方案。
• 开发一个灵活、可扩展且真实的仿真环境，以捕捉关键挑战，如智能体交互、非平稳动态和大规模协调。
• 在多样化、真实的库存管理任务中，对经典运筹学（OR）方法和现代MARL算法进行评估，以揭示算法局限性。
• 提供一个标准化、开源的基准（MABIM），支持可复现评估，并推动MARL在工业应用中的发展。

提出的方法

• MABIM基于OpenAI Gym框架构建，模拟一个使用生产合作伙伴真实零售数据的多层级、多商品库存系统。
• 该环境支持最多2,000个智能体（仓库），具有动态上下文变量（如需求、价格、提前期），并支持自定义任务配置。
• 任务设计用于测试可扩展性、上下游仓库间的协作、同级之间的竞争，以及在需求变化和噪声下的泛化与鲁棒性。
• 该基准支持在相同、真实的条件下评估MARL算法（如IPPO、QTRAN）和OR基线（如(s,S)策略、BS）的性能。
• 引入了混合算法，例如IPPO+BS，其中MARL学习上游策略，而OR方法负责处理下游决策，从而提升性能。
• 性能通过累计利润衡量，并使用(s,S)事后基线进行归一化，以实现在非平稳任务中的公平比较。

Figure 1: Multi-echelon inventory model.

实验结果

研究问题

• RQ1 在真实库存系统中，MARL算法在大规模智能体设置（最多2,000个智能体）下的表现如何？
• RQ2 现有MARL算法在多层级供应链中协调上下游仓库方面存在哪些局限性？
• RQ3 MARL算法在未见过的需求模式下泛化能力如何，或在需求波动噪声下是否具备鲁棒性？
• RQ4 结合MARL与OR方法的混合方法是否能在复杂库存任务中超越纯MARL或OR基线？
• RQ5 MARL在库存管理中的关键失败模式是什么，例如训练不稳定或在竞争环境下协调能力差？

主要发现

• 在竞争任务中，IPPO通过减少补货以避免损失，但其表现仍逊于(s,S)静态策略和QTRAN，后者展现出更好的稳定性和利润。
• 在两级协作任务中，纯IPPO仅获得6.72k的利润，而IPPO+BS提升至9.86k，表明结合MARL与OR策略具有显著优势。
• 在三级协作任务中，IPPO利润降至4.25k，而IPPO+BS达到10.14k，表明MARL在缺乏外部策略指导时难以有效处理多层协调。
• 在非平稳上下文任务中，IPPO在泛化和鲁棒性方面优于其他MARL算法，而静态OR方法表现最差，尤其在需求变化时。
• (s,S)事后算法取得了最佳性能，并被用作归一化基线，表明其在推理时优化中的有效性。
• 结果表明，MARL算法在可扩展性、跨层级协调以及对动态变化的鲁棒性方面面临重大挑战，凸显了改进算法设计的必要性。

Figure 2: Combined challenge. $\uparrow$ , $\downarrow$ , and ~ signify increasing, decreasing, and keep steady.