[论文解读] DMRO:A Deep Meta Reinforcement Learning-based Task Offloading Framework for Edge-Cloud Computing

Guanjin Qu, Huaming Wu|arXiv (Cornell University)|Aug 23, 2020

IoT and Edge/Fog Computing参考文献 106被引用 8

一句话总结

该论文提出DMRO，一种用于边缘-云计算中任务卸载的深度元强化学习框架，结合深度Q学习与元学习，实现快速、自适应的卸载决策。通过学习可迁移的初始网络参数，DMRO在动态物联网环境中实现快速收敛和优越性能，在最小化加权延迟和能耗方面优于DQN和传统卸载方案。

ABSTRACT

With the continuous growth of mobile data and the unprecedented demand for computing power, resource-constrained edge devices cannot effectively meet the requirements of Internet of Things (IoT) applications and Deep Neural Network (DNN) computing. As a distributed computing paradigm, edge offloading that migrates complex tasks from IoT devices to edge-cloud servers can break through the resource limitation of IoT devices, reduce the computing burden and improve the efficiency of task processing. However, the problem of optimal offloading decision-making is NP-hard, traditional optimization methods are difficult to achieve results efficiently. Besides, there are still some shortcomings in existing deep learning methods, e.g., the slow learning speed and the failure of the original network parameters when the environment changes. To tackle these challenges, we propose a Deep Meta Reinforcement Learning-based offloading (DMRO) algorithm, which combines multiple parallel DNNs with Q-learning to make fine-grained offloading decisions. By aggregating the perceptive ability of deep learning, the decision-making ability of reinforcement learning, and the rapid environment learning ability of meta-learning, it is possible to quickly and flexibly obtain the optimal offloading strategy from the IoT environment. Simulation results demonstrate that the proposed algorithm achieves obvious improvement over the Deep Q-Learning algorithm and has strong portability in making real-time offloading decisions even in time-varying IoT environments.

研究动机与目标

• 为解决在动态物联网-边缘-云环境中深度强化学习存在的学习缓慢和可移植性差的问题。
• 在具有依赖任务的异构计算环境中，最小化任务卸载延迟和能耗。
• 在MEC环境发生变化时，实现卸载策略的快速适应，降低重新训练的开销。
• 设计一种可扩展、实时的卸载决策框架，适用于资源受限的物联网设备。

提出的方法

• 该框架采用多智能体深度Q网络（DQN）架构，用于建模物联网设备、边缘和云服务器之间的卸载决策。
• 引入元学习，以学习在多种环境条件下具有泛化能力的初始神经网络参数。
• 元学习器优化DQN策略网络的初始化，实现在新环境中仅用少量数据即可快速微调。
• 系统将任务卸载建模为多目标优化问题，以平衡延迟和能耗。
• 加权成本函数结合延迟和能耗，权重可调以反映应用特定的优先级。
• 框架通过经验回放和目标网络进行训练以稳定训练过程，并在多个模拟环境中进行元训练。

实验结果

研究问题

• RQ1 元学习能否提升深度强化学习在动态边缘-云卸载环境中的泛化能力和适应速度？
• RQ2 与传统的DRL方法（如DQN）相比，所提出的DMRO框架在环境变化下的收敛速度和性能表现如何？
• RQ3 与仅本地、仅边缘、仅云的卸载策略相比，DMRO框架在多大程度上能降低总卸载成本（延迟+能耗）？
• RQ4 元学习初始化在环境变化时能否有效实现快速收敛？
• RQ5 在环境变化后，该框架能否在极少重新训练的情况下维持低成本的卸载决策？

主要发现

• 在所有测试的延迟与能耗权重比下，DMRO均实现了最低的总成本，优于DQN、仅本地、仅边缘和仅云的方案。
• 与标准随机初始化的模型相比，元学习初始化的模型收敛速度显著更快，在20次以内训练步骤内即达到稳定性能。
• 在动态环境中，采用元初始化的DMRO模型仅需40–80次训练步骤即可达到低成本解，展现出强大的适应能力。
• 随着训练时间推移，元初始化与随机初始化模型之间的性能差距持续扩大，证实了元学习在快速适应方面的优势。
• 当能耗权重增加时，本地执行成本急剧上升，验证了模型对能效的敏感性。
• 该框架展现出强大的可移植性，可在无需完全重新训练的情况下快速部署于新环境或变化的MEC环境中。