[论文解读] A Cooperative Multi-Agent Reinforcement Learning Framework for Resource Balancing in Complex Logistics Network

Xihan Li, Jia Zhang+3 more|arXiv (Cornell University)|Mar 2, 2019

Vehicle Routing Optimization Methods参考文献 15被引用 41

一句话总结

本文将资源平衡在复杂物流网络中形式化为随机博弈，并提出一个合作型多代理强化学习框架，以提升相较传统优化方法的性能。

ABSTRACT

Resource balancing within complex transportation networks is one of the most important problems in real logistics domain. Traditional solutions on these problems leverage combinatorial optimization with demand and supply forecasting. However, the high complexity of transportation routes, severe uncertainty of future demand and supply, together with non-convex business constraints make it extremely challenging in the traditional resource management field. In this paper, we propose a novel sophisticated multi-agent reinforcement learning approach to address these challenges. In particular, inspired by the externalities especially the interactions among resource agents, we introduce an innovative cooperative mechanism for state and reward design resulting in more effective and efficient transportation. Extensive experiments on a simulated ocean transportation service demonstrate that our new approach can stimulate cooperation among agents and lead to much better performance. Compared with traditional solutions based on combinatorial optimization, our approach can give rise to a significant improvement in terms of both performance and stability.

研究动机与目标

• 激励并解决复杂物流网络中的供需失衡问题，在此类网络中由于不确定性和非凸约束，传统运筹学方法难以应对。
• 将资源平衡建模为在路线上的多个相互作用的资源代理（车辆）的随机博弈。
• 设计一个带有状态与奖励设计的合作型 MARL 框架，以促进智能体之间的合作。
• 在海运中的空集装箱再定位任务上展示有效性，体现对预测不确定性的鲁棒性。

提出的方法

• 将资源平衡问题形式化为随机博弈 G=(N,A,S,R,P,γ)，以车辆为代理，在到达终点时进行事件驱动的行动。
• 引入一个具有三层合作度量（自我、领地、外交）的合作型 MARL 框架，以塑造状态表示和奖励，从而提升协作。
• 定义三层状态设计及相应的延迟奖励，以鼓励安全库存以及跨路由和穿越路由的协调。
• 提出一个端到端的学习算法，其中代理通过交互收集经验，存储在回放记忆中，并在 MARL 设置中更新 Q 网络。
• 将该框架应用于模拟海洋物流网络中的空集装箱再定位（ECR）任务，以证明相较基于运筹学（OR）的基线方法的改进。

实验结果

研究问题

• RQ1 合作型 MARL 框架是否能在复杂物流网络的资源平衡中超越传统基于 OR 的方法？
• RQ2 不同的合作度量（自我、领地、外交）如何影响状态设计、奖励与智能体协作？
• RQ3 在同一路线的车辆共享策略的事件驱动 MARL 设置是否促进大规模网络中的可扩展学习？
• RQ4 该方法对海运中的需求与供给预测不确定性有多鲁棒？
• RQ5 在 ECR 中应用合作型 MARL 相较基线策略的性能影响如何？

主要发现

• 在模拟的海洋网络中，MARL 框架实现了近乎最优的资源平衡结果。
• 合作度量设计（自我、领地、外交）引导状态和奖励的塑形，以增强智能体间的协作。
• 与传统组合优化基线相比，MARL 方法在性能与稳定性方面提供显著提升。
• 实验聚焦于海运中的空集装箱再定位，凸显对供需不确定性和非凸约束的鲁棒性。