[论文解读] A Deep Q-Network for the Beer Game with Partial Information.

Afshin Oroojlooyjadid, Mohammadreza Nazari+2 more|arXiv (Cornell University)|Aug 20, 2017

Supply Chain and Inventory Management参考文献 12被引用 11

一句话总结

本文提出一种深度Q网络（DQN）智能体，用于优化啤酒游戏——一种去中心化、部分可观测的供应链游戏——中的补货决策。当与基础库存策略智能体配合时，该方法实现了接近最优的性能，且在面对人类类似订货行为时，显著优于基础库存策略。该方法通过预训练的、可迁移的策略实现实时决策，且无需参数约束。

ABSTRACT

The beer game is a widely used in-class game that is played in supply chain management classes to demonstrate the bullwhip effect. The game is a decentralized, multi-agent, cooperative problem that can be modeled as a serial supply chain network in which agents cooperatively attempt to minimize the total cost of the network even though each agent can only observe its own local information. Each agent chooses order quantities to replenish its stock. Under some conditions, a base-stock replenishment policy is known to be optimal. However, in a decentralized supply chain in which some agents (stages) may act irrationally (as they do in the beer game), there is no known optimal policy for an agent wishing to act optimally. We propose a machine learning algorithm, based on deep Q-networks, to optimize the replenishment decisions at a given stage. When playing alongside agents who follow a base-stock policy, our algorithm obtains near-optimal order quantities. It performs much better than a base-stock policy when the other agents use a more realistic model of human ordering behavior. Unlike most other algorithms in the literature, our algorithm does not have any limits on the beer game parameter values. Like any deep learning algorithm, training the algorithm can be computationally intensive, but this can be performed ahead of time; the algorithm executes in real time when the game is played. Moreover, we propose a transfer learning approach so that the training performed for one agent and one set of cost coefficients can be adapted quickly for other agents and costs. Our algorithm can be extended to other decentralized multi-agent cooperative games with partially observed information, which is a common type of situation in real-world supply chain problems.

研究动机与目标

• 解决去中心化、部分可观测供应链游戏（如啤酒游戏）中缺乏最优决策策略的问题，其中智能体行为非理性。
• 开发一种基于机器学习的策略，使其在部分信息下有效运行，且不施加对游戏参数的限制。
• 在计算密集型预训练后，实现实时执行优化决策。
• 设计一种迁移学习框架，使训练好的策略能快速适应新智能体和成本结构。
• 将该方法扩展至其他现实世界中的去中心化、协作性、部分可观测多智能体供应链问题。

提出的方法

• 使用深度强化学习训练深度Q网络（DQN），基于本地状态观测学习最优订货量。
• DQN智能体从累积奖励中学习，奖励代表总网络成本，目标是随时间最小化成本。
• 使用经验回放和目标网络在离线状态下训练算法，以稳定学习过程。
• 采用迁移学习方法，复用预训练的DQN权重，并对新智能体或成本系数进行微调，从而减少训练时间。
• 该方法不对啤酒游戏的成本系数或参数值施加任何约束。
• 训练完成的智能体在游戏过程中实时运行，仅基于其当前本地状态做出决策。

实验结果

研究问题

• RQ1 在部分信息条件下，深度强化学习智能体能否在啤酒游戏中学习到接近最优的补货策略？
• RQ2 当其他智能体遵循基础库存策略或人类类似行为时，DQN智能体的性能与基础库存策略相比如何？
• RQ3 预训练的DQN策略在多大程度上可被快速迁移至新智能体或成本结构，且仅需极少再训练？
• RQ4 该DQN方法在不改变网络架构的前提下，是否对所有参数值均保持有效性？
• RQ5 DQN智能体能否在去中心化、协作性、部分可观测供应链游戏中优于传统策略？

主要发现

• 当其他智能体遵循基础库存策略时，DQN智能体实现了接近最优的性能，展现出强大的学习能力。
• 当其他智能体表现出人类类似、非优化的订货行为时，DQN显著优于基础库存策略。
• 迁移学习方法使策略能以极少额外训练时间快速适应新智能体和成本系数。
• 该方法在啤酒游戏的所有参数值下均有效，对成本系数或系统参数无任何限制。
• DQN策略可预先训练并实时部署，实现在游戏过程中的低延迟决策。
• 该方法可推广至其他去中心化、部分可观测、协作性多智能体供应链问题。