[论文解读] Deep Reinforcement Learning for Online Offloading in Wireless Powered Mobile-Edge Computing Networks.

Liang Huang, Suzhi Bi+1 more|arXiv (Cornell University)|Aug 6, 2018

Energy Harvesting in Wireless Networks被引用 25

一句话总结

该论文提出DROO，一种基于深度强化学习的框架，通过学习最优的二值化卸载决策与资源分配，实现在无线供电移动边缘计算网络中的实时在线任务卸载。其性能接近最优，计算延迟较传统方法降低10倍以上，在30用户网络中CPU执行时间低于0.1秒。

ABSTRACT

Wireless powered mobile-edge computing (MEC) has recently emerged as a promising paradigm to enhance the data processing capability of low-power networks, such as wireless sensor networks and internet of things (IoT). In this paper, we consider a wireless powered MEC network that adopts a binary offloading policy, so that each computation task of wireless devices (WDs) is either executed locally or fully offloaded to an MEC server. Our goal is to acquire an online algorithm that optimally adapts task offloading decisions and wireless resource allocations to the time-varying wireless channel conditions. This requires quickly solving hard combinatorial optimization problems within the channel coherence time, which is hardly achievable with conventional numerical optimization methods. To tackle this problem, we propose a Deep Reinforcement learning-based Online Offloading (DROO) framework that implements a deep neural network as a scalable solution that learns the binary offloading decisions from the experience. It eliminates the need of solving combinatorial optimization problems, and thus greatly reduces the computational complexity especially in large-size networks. To further reduce the complexity, we propose an adaptive procedure that automatically adjusts the parameters of the DROO algorithm on the fly. Numerical results show that the proposed algorithm can achieve near-optimal performance while significantly decreasing the computation time by more than an order of magnitude compared with existing optimization methods. For example, the CPU execution latency of DROO is less than $0.1$ second in a $30$-user network, making real-time and optimal offloading truly viable even in a fast fading environment.

研究动机与目标

• 解决在时变信道条件下无线供电移动边缘计算（MEC）网络中的在线任务卸载挑战。
• 克服传统方法在信道相干时间内求解复杂组合优化问题时计算复杂度高的问题。
• 设计一种可扩展的实时解决方案，动态适应卸载决策与资源分配，而无需在线求解优化问题。
• 显著降低计算延迟，以实现在快速衰落环境中的实际部署，尤其适用于大规模物联网与传感器网络。

提出的方法

• 提出一种基于深度强化学习的在线卸载（DROO）框架，利用深度神经网络从经验中学习二值化卸载决策。
• 将卸载决策建模为马尔可夫决策过程，其中智能体根据当前信道状态与系统状态选择动作（本地执行或完全卸载）。
• 采用受Q-learning启发的深度Q网络（DQN）架构，近似动作价值函数，实现最优策略的端到端学习。
• 引入一种自适应参数调节机制，在运行时动态调整DROO算法的超参数，以提升收敛性与性能。
• 设计一种联合优化能量效率与任务完成延迟的奖励函数，反映本地计算与卸载计算之间的权衡。
• 在具有时变信道条件的仿真环境中训练DROO智能体，以实现对多样化网络状态与用户数量的泛化能力。

实验结果

研究问题

• RQ1 深度强化学习框架能否在时变信道的无线供电MEC网络中有效学习最优的在线卸载决策？
• RQ2 与传统优化方法相比，DROO框架在计算延迟与性能可扩展性方面表现如何？
• RQ3 自适应超参数调节在动态环境中在多大程度上可提升DROO算法的收敛性与鲁棒性？
• RQ4 所提出的在线卸载框架中，能量效率与任务完成延迟之间的可实现权衡是什么？
• RQ5 在大规模网络中，DROO框架能否在计算复杂度降低一个数量级以上的同时保持近似最优性能？

主要发现

• DROO框架在能量-延迟权衡方面实现了接近最优的性能，与通过穷举搜索获得的理论最优解非常接近。
• 在30用户网络中，DROO的CPU执行延迟低于0.1秒，证明其在快速衰落环境下的实时可行性。
• 与传统数值优化方法相比，DROO将计算时间减少了超过一个数量级，显著提升了可扩展性。
• 自适应参数调节机制增强了学习稳定性与收敛速度，尤其在高动态信道条件下表现突出。
• 该框架在不同规模的网络中均保持高性能，大规模部署时性能下降极小。
• DROO的深度神经网络组件成功实现了对多样化信道状态与用户分布的泛化，且无需为每种场景重新训练。