[论文解读] Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning

Qiang Fan, Jianan Bai+3 more|arXiv (Cornell University)|Apr 30, 2020

IoT and Edge/Fog Computing参考文献 38被引用 4

一句话总结

本文提出了一种面向雾计算辅助物联网网络的延迟感知在线资源分配算法，采用演员-评论家强化学习方法，联合优化无线与计算资源，在动态条件和QoS约束下最小化任务延迟。该方法通过实时适应系统状态动态调整，无需未来信息，显著降低了任务延迟。

ABSTRACT

Fog nodes in the vicinity of IoT devices are promising to provision low latency services by offloading tasks from IoT devices to them. Mobile IoT is composed by mobile IoT devices such as vehicles, wearable devices and smartphones. Owing to the time-varying channel conditions, traffic loads and computing loads, it is challenging to improve the quality of service (QoS) of mobile IoT devices. As task delay consists of both the transmission delay and computing delay, we investigate the resource allocation (i.e., including both radio resource and computation resource) in both the wireless channel and fog node to minimize the delay of all tasks while their QoS constraints are satisfied. We formulate the resource allocation problem into an integer non-linear problem, where both the radio resource and computation resource are taken into account. As IoT tasks are dynamic, the resource allocation for different tasks are coupled with each other and the future information is impractical to be obtained. Therefore, we design an on-line reinforcement learning algorithm to make the sub-optimal decision in real time based on the system's experience replay data. The performance of the designed algorithm has been demonstrated by extensive simulation results.

研究动机与目标

• 解决移动物联网网络中动态任务到达与时变网络条件下最小化任务延迟的挑战。
• 在QoS约束下联合优化无线与计算资源分配，其中延迟取决于传输与计算两部分。
• 设计一种在线学习算法，无需未来网络信息，仅依赖当前状态观测。
• 实现实时动态资源分配，以改善雾计算环境中的端到端任务延迟。
• 在不同工作负载与系统条件下，证明所提方法优于固定分配基线方法。

提出的方法

• 将联合无线与计算资源分配问题建模为带QoS约束的整数非线性规划问题。
• 采用演员-评论家深度强化学习框架，从经验回放数据中学习最优资源分配策略。
• 使用包含当前信道条件、任务数据大小、计算强度与可用系统资源的状态表示。
• 智能体学习在每项任务上平衡带宽与计算资源分配，以最小化总延迟并满足延迟约束。
• 算法实时运行，基于即时反馈与系统动态更新策略，无需未来预测。
• 采用经验回放与目标网络以稳定训练并提升非平稳环境下的收敛性。

实验结果

研究问题

• RQ1 在动态不确定条件下，如何优化雾计算辅助物联网网络中的无线与计算资源联合分配以最小化任务延迟？
• RQ2 QoS约束对无线与计算资源分配决策之间耦合关系有何影响？
• RQ3 所提出的在线强化学习方法在任务延迟性能方面与固定分配基线相比如何？
• RQ4 在何种系统条件下（如高数据大小、高计算负载）所提方法展现出最大优势？
• RQ5 演员-评论家强化学习方法能否在无未来信息的情况下实时有效学习次优策略？

主要发现

• 所提出的在线强化学习算法（ORA）在所有测试场景下均持续显著降低任务延迟，优于仅传输与仅计算的基线方法。
• 当平均数据大小增加时，ORA通过动态调整无线与计算资源维持较低延迟，而基线方法在传输或计算环节均出现瓶颈延迟。
• 在低计算强度下，传输延迟占主导，ORA因动态无线资源分配优于仅计算基线；在高计算强度下，ORA因自适应计算资源分配优于仅传输基线。
• 随着工作负载增加，仅计算基线因固定无线资源而性能下降更快，而仅传输基线在高负载下因固定计算资源而表现更差，ORAs则保持更优性能。
• 随着系统负载增加，ORA与基线之间的性能差距进一步扩大，证明ORA在高动态环境中的鲁棒性。
• 大量仿真结果证实，ORA能有效实现实时资源分配平衡，在QoS约束下实现传输与计算延迟的最优权衡。