[论文解读] Deep Reinforcement Learning Based Mobile Edge Computing for Intelligent Internet of Things

Rui Zhao, Xinjie Wang+2 more|arXiv (Cornell University)|Aug 1, 2020

Advanced Wireless Communication Technologies参考文献 25被引用 5

一句话总结

本文提出了一种基于E-DQN的移动边缘计算（MEC）卸载策略，用于智能物联网网络，利用深度强化学习优化任务卸载、带宽分配和CAP选择。该方法通过联合最小化延迟和能耗，显著降低了系统成本，在不同网络条件下均优于基线策略。

ABSTRACT

In this paper, we investigate mobile edge computing (MEC) networks for intelligent internet of things (IoT), where multiple users have some computational tasks assisted by multiple computational access points (CAPs). By offloading some tasks to the CAPs, the system performance can be improved through reducing the latency and energy consumption, which are the two important metrics of interest in the MEC networks. We devise the system by proposing the offloading strategy intelligently through the deep reinforcement learning algorithm. In this algorithm, Deep Q-Network is used to automatically learn the offloading decision in order to optimize the system performance, and a neural network (NN) is trained to predict the offloading action, where the training data is generated from the environmental system. Moreover, we employ the bandwidth allocation in order to optimize the wireless spectrum for the links between the users and CAPs, where several bandwidth allocation schemes are proposed. In further, we use the CAP selection in order to choose one best CAP to assist the computational tasks from the users. Simulation results are finally presented to show the effectiveness of the proposed reinforcement learning offloading strategy. In particular, the system cost of latency and energy consumption can be reduced significantly by the proposed deep reinforcement learning based algorithm.

研究动机与目标

• 通过利用移动边缘计算（MEC）与计算卸载，解决物联网系统中高延迟和高能耗的问题。
• 设计一种智能卸载策略，动态选择最优的计算接入点（CAP）并分配带宽，以提升系统性能。
• 通过深度强化学习降低系统成本——定义为延迟与能耗的加权和——实现优化。
• 在具有动态和不确定信道条件的多用户、多CAP MEC环境中优化资源分配。

提出的方法

• 利用扩展深度Q网络（E-DQN）通过环境生成的数据进行训练，学习最优卸载决策。
• 使用神经网络基于实时系统状态（包括用户任务需求和信道条件）预测卸载动作。
• 提出一种带宽分配方案，优化用户与CAP之间的频谱使用，以减少传输延迟和能耗。
• 应用CAP选择机制，为每个用户的任务选择最具能力的接入点，以最小化端到端成本。
• 将系统成本建模为延迟与能耗的线性加权和，其中包含可调权重因子λ。
• 使用回放缓冲区和目标网络训练E-DQN智能体，以稳定学习过程并提升收敛性。

实验结果

研究问题

• RQ1 如何利用深度强化学习在多用户、多CAP MEC网络中智能优化任务卸载决策？
• RQ2 动态带宽分配对降低MEC增强型物联网系统中传输延迟和能耗有何影响？
• RQ3 与随机或固定选择策略相比，智能CAP选择如何影响系统成本？
• RQ4 在不同网络负载和信道条件下，所提出的基于E-DQN的方案相较于静态卸载策略（如全部本地处理、全部CAP处理）的性能提升程度如何？

主要发现

• 在所有测试的权重因子λ值下，所提出的E-DQN卸载策略始终优于“全部本地处理”和“全部CAP处理”策略。
• 系统成本显著降低——尤其当λ较大时——得益于通过动态卸载实现的延迟与能耗的高效平衡。
• 当用户数量从1增加到6时，E-DQN方案相比基线策略保持更低的系统成本，展现出良好的可扩展性与鲁棒性。
• CAP计算能力越高，平均能耗越低，任务卸载率越高，因为用户更倾向于在CAP能力更强时进行卸载。
• 总带宽从2 GHz提升至9 GHz可改善E-DQN和“全部CAP处理”策略的性能，证实了频谱优化的优势。
• 基于信道质量与负载状况的CAP选择优于随机选择，尤其在λ值较高时表现更优，证明了智能CAP选择的有效性。