[论文解读] Lyapunov-guided Deep Reinforcement Learning for Stable Online Computation Offloading in Mobile-Edge Computing Networks

Suzhi Bi, Liang Huang+2 more|arXiv (Cornell University)|Oct 3, 2020

IoT and Edge/Fog Computing参考文献 30被引用 5

一句话总结

该论文提出LyDROO，一种新型的李雅普诺夫引导深度强化学习框架，用于在动态移动边缘计算网络中联合优化在线计算卸载与资源分配。通过结合李雅普诺夫优化以解耦长期约束，以及利用深度强化学习实现实时决策，LyDROO在确保数据队列和功率约束稳定的同时，实现了最优的计算性能，并具备较低的计算开销，适用于快速衰落环境。

ABSTRACT

Opportunistic computation offloading is an effective method to improve the computation performance of mobile-edge computing (MEC) networks under dynamic edge environment. In this paper, we consider a multi-user MEC network with time-varying wireless channels and stochastic user task data arrivals in sequential time frames. In particular, we aim to design an online computation offloading algorithm to maximize the network data processing capability subject to the long-term data queue stability and average power constraints. The online algorithm is practical in the sense that the decisions for each time frame are made without the assumption of knowing future channel conditions and data arrivals. We formulate the problem as a multi-stage stochastic mixed integer non-linear programming (MINLP) problem that jointly determines the binary offloading (each user computes the task either locally or at the edge server) and system resource allocation decisions in sequential time frames. To address the coupling in the decisions of different time frames, we propose a novel framework, named LyDROO, that combines the advantages of Lyapunov optimization and deep reinforcement learning (DRL). Specifically, LyDROO first applies Lyapunov optimization to decouple the multi-stage stochastic MINLP into deterministic per-frame MINLP subproblems. By doing so, it guarantees to satisfy all the long-term constraints by solving the per-frame subproblems that are much smaller in size. Then, LyDROO integrates model-based optimization and model-free DRL to solve the per-frame MINLP problems with low computational complexity. Simulation results show that under various network setups, the proposed LyDROO achieves optimal computation performance while stabilizing all queues in the system. Besides, it induces very low execution latency that is particularly suitable for real-time implementation in fast fading environments.

研究动机与目标

• 设计一种适用于时变信道和随机任务到达场景下的多用户移动边缘计算网络在线计算卸载算法。
• 在确保长期数据队列稳定性和平均功率约束的前提下，最大化网络数据处理能力。
• 降低计算复杂度，以实现在未来系统状态未知的快速衰落动态环境中实时部署。
• 将李雅普诺夫优化与深度强化学习相结合，以平衡约束满足与性能优化。
• 在无需未来信道状态或任务到达信息的前提下，实现低时延、可扩展的决策。

提出的方法

• 将问题建模为具有二值卸载与资源分配决策的多阶段随机混合整数非线性规划（MINLP）。
• 应用李雅普诺夫优化将长期MINLP分解为每帧的确定性子问题，通过虚拟队列确保约束满足。
• 采用混合DRL架构，结合无模型深度强化学习与基于模型的优化模块，以准确估计奖励值。
• 使用深度神经网络根据当前系统状态（如信道条件、队列积压）预测二值卸载决策。
• 将DNN输出与本地优化引擎集成，为每个候选动作计算最优资源分配（如传输时间、CPU频率）。
• 利用李雅普诺夫漂移加惩罚最小化方法，在性能与约束违反之间实现平衡，从而提供稳定性保证。

实验结果

研究问题

• RQ1 李雅普诺夫优化能否与深度强化学习有效结合，以在不确定性条件下确保在线计算卸载的稳定性？
• RQ2 如何降低求解大规模随机MINLP的计算复杂度，以实现在动态MEC网络中的实时部署？
• RQ3 所提出的LyDROO框架在最大化计算性能的同时，能在多大程度上维持数据队列稳定性和功率约束满足？
• RQ4 与纯DRL方法相比，基于模型的优化与无模型DRL的集成在多大程度上提升了学习收敛速度与决策准确性？
• RQ5 在时变网络条件下，在线卸载算法的性能最优性与计算时延之间存在何种权衡？

主要发现

• LyDROO在几乎必然意义上实现了最优计算性能，同时稳定了所有数据队列并满足了平均功率约束。
• 该算法每时隙的计算时间极低，适用于快速衰落无线环境中的实时实现。
• 仿真结果表明，LyDROO保持了数据队列和虚拟队列的强稳定性，队列积压随时间呈次线性增长。
• 该框架确保了虚拟队列的速率稳定性，这意味着长期来看平均功率约束几乎必然得到满足。
• 在动态系统条件下，LyDROO在收敛速度和鲁棒性方面均优于传统优化方法和纯DRL基线。
• 理论分析证明，LyDROO与最优解之间的性能差距最多为 $\hat{B}+C - V R^{\text{opt}}$，其中 $V$ 控制性能与约束违反之间的权衡。