[论文解读] Multi-Agent Deep Reinforcement Learning enabled Computation Resource Allocation in a Vehicular Cloud Network

Shilin Xu, Caili Guo+2 more|arXiv (Cornell University)|Aug 14, 2020

Vehicular Ad Hoc Networks (VANETs)被引用 6

一句话总结

本文提出了一种基于多智能体深度强化学习（MADDPG）的无基础设施车载云网络计算资源分配方案，利用分布式虚拟云网络（VCN）实现动态卸载。通过将问题建模为马尔可夫博弈，并采用集中式训练与分布式执行的策略，该方法在非平稳环境中实现了高效、实时的资源分配，仿真结果验证了其在动态车载环境中的有效性。

ABSTRACT

In this paper, we investigate the computational resource allocation problem in a distributed Ad-Hoc vehicular network with no centralized infrastructure support. To support the ever increasing computational needs in such a vehicular network, the distributed virtual cloud network (VCN) is formed, based on which a computational resource sharing scheme through offloading among nearby vehicles is proposed. In view of the time-varying computational resource in VCN, the statistical distribution characteristics for computational resource are analyzed in detail. Thereby, a resource-aware combinatorial optimization objective mechanism is proposed. To alleviate the non-stationary environment caused by the typically multi-agent environment in VCN, we adopt a centralized training and decentralized execution framework. In addition, for the objective optimization problem, we model it as a Markov game and propose a DRL based multi-agent deep deterministic reinforcement learning (MADDPG) algorithm to solve it. Interestingly, to overcome the dilemma of lacking a real central control unit in VCN, the allocation is actually completed on the vehicles in a distributed manner. The simulation results are presented to demonstrate our scheme's effectiveness.

研究动机与目标

• 解决无中心基础设施的自组织车载网络中动态且分布式的计算资源分配挑战。
• 对车载云网络（VCN）中计算资源的时变特性进行建模，并分析其统计分布特性。
• 设计一种资源感知的组合优化目标，以适应车辆间计算资源可用性的波动。
• 为高度动态的车载环境开发一种可扩展的去中心化实时资源分配解决方案。
• 通过集中式训练与分布式执行框架，克服多智能体环境的非平稳性。

提出的方法

• 将资源分配问题建模为马尔可夫博弈，以捕捉多个自主车辆之间的交互行为。
• 提出一种多智能体深度确定性策略梯度（MADDPG）算法，以求解马尔可夫博弈并优化资源分配。
• 实施集中式训练与分布式执行（CTDE）框架，以在非平稳多智能体环境中稳定学习过程。
• 设计一种资源感知的组合优化目标，以考虑可用计算资源的统计分布特性。
• 在邻近车辆之间构建分布式虚拟云网络（VCN），以支持点对点计算卸载。
• 在单个车辆上实现分配策略的完全去中心化执行，消除对中心控制器的依赖。

实验结果

研究问题

• RQ1 在无中心基础设施的去中心化车载云网络中，如何实现计算资源的高效分配？
• RQ2 计算资源可用性的时变特性对车载网络中资源分配性能有何影响？
• RQ3 如何有效应用多智能体强化学习，以在非平稳车载环境中保持稳定性和收敛性？
• RQ4 集中式训练与分布式执行框架是否能提升车载资源分配中的学习效率与可扩展性？
• RQ5 所提出的基于MADDPG的方案在资源利用率和卸载成功率方面相较于基线方法表现如何？

主要发现

• 所提出的MADDPG方案在动态车载网络的非平稳环境中实现了稳定的学习与收敛。
• 资源感知的组合优化目标能有效适应可用计算资源的统计分布特性。
• 集中式训练与分布式执行框架在保持策略执行完全去中心化的同时，实现了高性能表现。
• 仿真结果表明，与基线方法相比，该方案在资源利用率和卸载效率方面均有显著提升。
• 该方案成功实现了无需中心控制单元的实时、分布式计算卸载。