[论文解读] Cost-Effective Task Offloading Scheduling for Hybrid Mobile Edge-Quantum Computing

Ziqiang Ye, Yulan Gao+4 more|arXiv (Cornell University)|Jun 26, 2023

IoT and Edge/Fog Computing被引用 4

一句话总结

本文提出了一种基于深度强化学习（DRL）的李雅普诺夫优化框架，用于混合移动边缘-量子计算（MEQC）系统中的成本有效任务卸载。通过将时序耦合约束重新表述为基于惩罚的目标函数，并采用DQN进行模式选择、DDPG进行部分任务卸载，该方法在时间平均成本方面优于基线方法，且在可持续性方面表现更优，最优性能出现在Δ=0.7时。

ABSTRACT

In this paper, we aim to address the challenge of hybrid mobile edge-quantum computing (MEQC) for sustainable task offloading scheduling in mobile networks. We develop cost-effective designs for both task offloading mode selection and resource allocation, subject to the individual link latency constraint guarantees for mobile devices, while satisfying the required success ratio for their computation tasks. Specifically, this is a time-coupled offloading scheduling optimization problem in need of a computationally affordable and effective solution. To this end, we propose a deep reinforcement learning (DRL)-based Lyapunov approach. More precisely, we reformulate the original time-coupled challenge into a mixed-integer optimization problem by introducing a penalty part in terms of virtual queues constructed by time-coupled constraints to the objective function. Subsequently, a Deep Q-Network (DQN) is adopted for task offloading mode selection. In addition, we design the Deep Deterministic Policy Gradient (DDPG)-based algorithm for partial-task offloading decision-making. Finally, tested in a realistic network setting, extensive experiment results demonstrate that our proposed approach is significantly more cost-effective and sustainable compared to existing methods.

研究动机与目标

• 为解决混合移动边缘-量子计算（MEQC）系统中可持续且成本有效的任务卸载调度挑战。
• 在单个链路时延和成功率约束下，联合优化任务卸载模式选择与资源分配。
• 为动态MEQC环境中的时序耦合卸载调度问题，开发一种计算成本可接受的解决方案。
• 将深度强化学习与李雅普诺夫优化相结合，实现实时、自适应的决策制定。
• 在真实网络环境中评估所提方法，并证明其在成本效益和可持续性方面的优越性。

提出的方法

• 通过引入基于时序耦合约束构建的虚拟队列，将时序耦合的卸载问题重新表述为混合整数优化问题。
• 使用深度Q网络（DQN）对任务卸载模式（如本地、边缘、量子）进行离散决策。
• 采用深度确定性策略梯度（DDPG）算法进行连续的部分任务卸载决策。
• 整合李雅普诺夫优化以稳定队列积压并确保长期约束满足。
• 构建时间平均成本目标函数，平衡能耗、时延和资源使用，同时维持服务质量保证。
• 在真实网络环境中训练DRL智能体，使其在动态条件下学习最优调度策略。

实验结果

研究问题

• RQ1 在满足时延和成功率约束的前提下，本地、边缘和量子卸载之间的最优平衡是什么，可使长期成本最小化？
• RQ2 所提出的基于DRL的李雅普诺夫方法在成本效益和可持续性方面与基线方法相比表现如何？
• RQ3 控制参数Δ对时间平均成本和系统性能有何影响？
• RQ4 所提方法能否在时序耦合卸载场景中实现稳定的队列积压和约束满足？
• RQ5 当任务到达率、数据大小和量子比特数量变化时，系统性能如何？

主要发现

• 所提出的基于DRL的李雅普诺夫算法在真实网络仿真中显著降低了时间平均成本，优于基线方法。
• Δ=0.7时达到最优，此时时间平均成本最低，且当Δ值高于或低于此点时性能均下降。
• 对于其他基线方法，时间平均成本在不同Δ值下基本保持不变，表明对参数调优的敏感性较低。
• 系统能够长期维持稳定的队列积压，并满足所有时延和成功率约束。
• DQN和DDPG组件有效学习到平衡卸载决策，从而提升了能效和资源效率。
• 理论分析证实，该算法实现了接近最优的成本性能，且队列增长和约束违反均在有界范围内。