[论文解读] Deep Reinforcement Learning for Task Offloading in Mobile Edge Computing Systems

Ming Tang, Vincent W. S. Wong|arXiv (Cornell University)|Apr 10, 2020

IoT and Edge/Fog Computing参考文献 31被引用 15

一句话总结

本文提出了一种基于无模型深度强化学习（DRL）的分布式任务卸载算法，用于移动边缘计算（MEC）系统，针对不可分割且对延迟敏感的任务，以及未知的边缘负载动态。通过整合LSTM、双 dueling DQN 和 double-DQN 技术，该算法使每个设备能够自主决定是否以及在何处卸载任务，与基准方法相比，任务丢弃率最高降低95.4%，平均延迟降低30.1%。

ABSTRACT

In mobile edge computing systems, an edge node may have a high load when a large number of mobile devices offload their tasks to it. Those offloaded tasks may experience large processing delay or even be dropped when their deadlines expire. Due to the uncertain load dynamics at the edge nodes, it is challenging for each device to determine its offloading decision (i.e., whether to offload or not, and which edge node it should offload its task to) in a decentralized manner. In this work, we consider non-divisible and delay-sensitive tasks as well as edge load dynamics, and formulate a task offloading problem to minimize the expected long-term cost. We propose a model-free deep reinforcement learning-based distributed algorithm, where each device can determine its offloading decision without knowing the task models and offloading decision of other devices. To improve the estimation of the long-term cost in the algorithm, we incorporate the long short-term memory (LSTM), dueling deep Q-network (DQN), and double-DQN techniques. Simulation results with 50 mobile devices and five edge nodes show that the proposed algorithm can reduce the ratio of dropped tasks and average task delay by 86.4%-95.4% and 18.0%-30.1%, respectively, when compared with several existing algorithms.

研究动机与目标

• 解决在边缘节点负载动态未知且时变的MEC系统中去中心化任务卸载的挑战。
• 最小化任务卸载的期望长期成本，包括处理延迟和因截止时间超时导致的任务丢弃。
• 设计一种分布式算法，使每个移动设备在不了解其他设备任务或全局系统状态的情况下独立做出卸载决策。
• 通过先进的深度强化学习组件，提升在动态环境中的长期成本估计能力。

提出的方法

• 将任务卸载问题建模为马尔可夫决策过程（MDP），在对延迟敏感且不可分割的任务约束下最小化长期成本。
• 采用无模型深度Q网络（DQN）并结合dueling架构，解耦状态值与动作值的估计，提升学习稳定性。
• 集成长短期记忆（LSTM）网络，以建模任务到达和边缘负载动态中的时间依赖性，实现更优的长期成本估计。
• 采用double-DQN以减少Q值函数近似中的过度估计偏差，提升学习收敛性和性能。
• 实现完全去中心化的决策机制：每个设备仅使用本地观测和奖励独立学习其策略。
• 通过经验回放和目标网络训练DRL智能体，以稳定训练过程并提高样本效率。

实验结果

研究问题

• RQ1 基于DRL的分布式无模型算法能否有效应对MEC系统中未知且时变的边缘负载动态？
• RQ2 LSTM、dueling DQN与double-DQN的集成如何提升长期成本估计与卸载性能？
• RQ3 与现有集中式和分布式基准方法相比，所提算法在多大程度上降低了任务丢弃率与平均处理延迟？
• RQ4 在高任务密度、边缘处理能力受限或设备计算能力较高的不同系统条件下，该算法表现如何？

主要发现

• 在高负载条件下，与基准方法相比，所提算法使任务丢弃率降低了86.4%至95.4%。
• 在所有测试场景中，平均任务延迟降低了18.0%至30.1%，尤其在高任务密度下提升最为显著。
• 当移动设备数量增至150台时，该算法的平均延迟比PGOA和ULOOE低9.0%。
• 在设备处理能力较高（3.5 GHz）时，与基准相比，任务丢弃率降低了93.9%至96.5%。
• 在边缘节点处理能力较低（15 GHz）时，与基准相比，任务丢弃率至少降低57.0%，平均延迟至少降低9.4%。
• 当边缘处理能力足够大时，该算法性能趋近最优水平，表明其具备出色的可扩展性。