[论文解读] Com-DDPG: A Multiagent Reinforcement Learning-based Offloading Strategy for Mobile Edge Computing

Honghao Gao, Xuejie Wang+3 more|arXiv (Cornell University)|Dec 9, 2020

IoT and Edge/Fog Computing参考文献 44被引用 9

一句话总结

本文提出 Com-DDPG，一种基于多智能体强化学习的移动边缘计算卸载策略，通过建模任务依赖关系、优先处理子任务，并利用长短期记忆网络（LSTM）与双向循环神经网络（Bidirectional RNN）增强通信与决策能力。该方法在能量消耗和负载均衡方面表现优异，且随着工作负载增加，延迟降低，在 Alibaba 集群数据集上优于 DQN、DRQN 和基于边缘的基线方法。

ABSTRACT

The development of mobile services has impacted a variety of computation-intensive and time-sensitive applications, such as recommendation systems and daily payment methods. However, computing task competition involving limited resources increases the task processing latency and energy consumption of mobile devices, as well as time constraints. Mobile edge computing (MEC) has been widely used to address these problems. However, there are limitations to existing methods used during computation offloading. On the one hand, they focus on independent tasks rather than dependent tasks. The challenges of task dependency in the real world, especially task segmentation and integration, remain to be addressed. On the other hand, the multiuser scenarios related to resource allocation and the mutex access problem must be considered. In this paper, we propose a novel offloading approach, Com-DDPG, for MEC using multiagent reinforcement learning to enhance the offloading performance. First, we discuss the task dependency model, task priority model, energy consumption model, and average latency from the perspective of server clusters and multidependence on mobile tasks. Our method based on these models is introduced to formalize communication behavior among multiple agents; then, reinforcement learning is executed as an offloading strategy to obtain the results. Because of the incomplete state information, long short-term memory (LSTM) is employed as a decision-making tool to assess the internal state. Moreover, to optimize and support effective action, we consider using a bidirectional recurrent neural network (BRNN) to learn and enhance features obtained from agents' communication. Finally, we simulate experiments on the Alibaba cluster dataset. The results show that our method is better than other baselines in terms of energy consumption, load status and latency.

研究动机与目标

• 为解决现有移动边缘计算卸载策略在处理依赖任务和多用户资源竞争方面的局限性。
• 在服务器集群中对任务依赖关系、优先级、能耗与延迟进行建模，以构建更贴近实际 MEC 环境的仿真场景。
• 设计一种支持部分可观测性与动态工作负载下协同决策的多智能体强化学习框架。
• 通过集成 LSTM 实现内部状态追踪，以及双向 RNN 实现智能体间通信特征学习，以提升卸载性能。

提出的方法

• 通过形式化任务与服务器集群的表示，建模任务依赖关系与优先级，以指导卸载决策。
• 在多智能体设置中采用深度确定性策略梯度（DDPG），支持连续动作空间的服务器选择。
• 利用长短期记忆网络（LSTM）从不完整观测中维护并推断内部状态，提升在部分可观测环境下的决策能力。
• 采用双向循环神经网络（BRNN）处理智能体间的通信特征，增强表征学习与协同能力。
• 在强化学习训练过程中，将能耗、负载状态、延迟与网络使用情况整合为多目标奖励函数。
• 基于 Alibaba 集群数据集开展实验，评估在 100 个任务下不同工作负载条件下的性能表现。

实验结果

研究问题

• RQ1 在多智能体 MEC 卸载框架中，如何有效建模任务依赖关系与子任务整合？
• RQ2 在部分可观测环境下，智能体间通信在提升卸载决策质量方面发挥何种作用？
• RQ3 集成 LSTM 与 BRNN 如何提升动态 MEC 环境下的决策性能？
• RQ4 在工作负载不断增加的情况下，Com-DDPG 与 DQN、DRQN 及基于边缘的策略在能效、负载均衡与延迟方面表现如何比较？
• RQ5 所提方法是否能在工作负载增长时实现可扩展且自适应的卸载，并伴随延迟持续降低？

主要发现

• Com-DDPG 在所有评估算法中，于能耗与负载状态方面表现最佳，显著优于 DQN、DRQN 与基于边缘的策略。
• Com-DDPG 的延迟随任务数量增加而降低，表明其具备优异的可扩展性与自适应性能，而其他方法的延迟则呈现上升或稳定趋势。
• 由于优化了服务器利用率并减少了冗余传输，Com-DDPG 在高工作负载下比 DQN 与 DRQN 更有效地降低能耗。
• 热力图分析显示，Com-DDPG 比 DQN 与 DRQN 更均匀地将卸载任务分发至各服务器，后者则集中于少数频繁使用的服务器。
• BRNN 与 LSTM 的集成使智能体能更有效地从通信信息与内部状态中提取特征，从而实现更鲁棒且协调的卸载决策。
• 本地执行策略在延迟与网络使用方面表现最佳，但能耗最高，凸显了 Com-DDPG 有效解决了该权衡问题。