[论文解读] Multi-Agent Reinforcement Learning with Shared Resources for Inventory Management

Yuandong Ding, Mingxiao Feng+8 more|arXiv (Cornell University)|Dec 15, 2022

Supply Chain and Inventory Management被引用 7

一句话总结

本文提出CD-PPO，一种面向具有共享资源（如库存容量）的库存管理的上下文感知多智能体强化学习算法。通过将智能体交互建模为共享上下文变量，并利用上下文条件化的本地模拟器实现去中心化训练，CD-PPO在大规模SKU环境中相较于标准MARL方法展现出更优的样本效率和性能。

ABSTRACT

In this paper, we consider the inventory management (IM) problem where we need to make replenishment decisions for a large number of stock keeping units (SKUs) to balance their supply and demand. In our setting, the constraint on the shared resources (such as the inventory capacity) couples the otherwise independent control for each SKU. We formulate the problem with this structure as Shared-Resource Stochastic Game (SRSG)and propose an efficient algorithm called Context-aware Decentralized PPO (CD-PPO). Through extensive experiments, we demonstrate that CD-PPO can accelerate the learning procedure compared with standard MARL algorithms.

研究动机与目标

• 解决数千种SKU竞争共享资源（如库存容量）的大规模库存管理挑战。
• 克服多智能体强化学习中独立学习与集中式评论家固有的非平稳性与可扩展性问题。
• 开发一种实用的去中心化训练范式，通过共享上下文变量维持全局协调，而无需联合状态/动作空间。
• 实现高效、可扩展的训练，适用于现实世界中的库存系统，其中智能体交互仅通过共享资源约束进行中介。

提出的方法

• 将库存管理问题形式化为共享资源随机博弈（SRSG），其中智能体仅通过共享资源约束进行交互。
• 引入一个上下文变量以表示共享资源的集体状态（例如，可用库存容量），该变量作为每个智能体策略与价值网络的输入。
• 通过在采样的上下文轨迹上条件化本地模拟器，实现智能体训练的解耦，从而在保持全局一致性的同时实现独立策略更新。
• 设计CD-PPO作为独立学习算法，采用上下文感知的策略与价值网络，避免使用集中式评论家并降低计算开销。
• 采用两阶段迭代训练过程：首先从联合模拟器中采样上下文动态，然后使用上下文条件化的本地数据更新每个智能体的策略。
• 利用给定上下文下智能体动态的独立性，避免非平稳性问题，并在大规模设置中保持训练稳定性。

实验结果

研究问题

• RQ1 去中心化的MARL算法是否能在不依赖集中式评论家的情况下，有效协调具有共享资源约束的智能体？
• RQ2 如何利用上下文变量在库存管理中实现智能体策略的解耦，同时保持全局协调？
• RQ3 与标准MARL基线相比，上下文感知训练是否能提升大规模库存系统中的样本效率与性能？
• RQ4 所提出的方法是否能泛化到库存管理以外的其他具有共享资源结构的真实应用场景？

主要发现

• 与标准MARL算法相比，CD-PPO显著加速了学习过程，在大规模库存管理中展现出更优的样本效率。
• 在多个基准设置下，该方法在总利润和服务水平方面均优于当前最先进的MARL基线。
• 通过在上下文上条件化策略，CD-PPO缓解了独立学习中固有的非平稳性问题，从而实现更稳定的训练。
• 该算法能有效扩展至大量SKU，适用于包含数千种库存单位的实际库存系统。
• 实证结果验证了上下文感知设计的有效性，可在不增加集中式评论家计算成本的前提下实现有效协调。
• 该方法具有泛化能力，可推广至其他应用场景，如投资组合管理与智能电网调度中的共享预算结构。