[论文解读] Deep Reinforcement Learning for Delay-Oriented IoT Task Scheduling in Space-Air-Ground Integrated Network

Conghao Zhou, Wen Wu+6 more|arXiv (Cornell University)|Oct 4, 2020

UAV Applications and Optimization参考文献 40被引用 10

一句话总结

本文提出了一种基于深度强化学习的任务调度方案（DOTS），用于空间-空中-地面一体化网络（SAGIN）中的时延敏感型物联网应用，其中无人机（UAV）将任务卸载至附近的基站或卫星，以在能量约束下最小化处理时延。该方法采用风险敏感型深度Q网络，平衡时延与能耗，在满足无人机能量限制的前提下，将时延降低高达30%。

ABSTRACT

In this paper, we investigate a computing task scheduling problem in space-air-ground integrated network (SAGIN) for delay-oriented Internet of Things (IoT) services. In the considered scenario, an unmanned aerial vehicle (UAV) collects computing tasks from IoT devices and then makes online offloading decisions, in which the tasks can be processed at the UAV or offloaded to the nearby base station or the remote satellite. Our objective is to design a task scheduling policy that minimizes offloading and computing delay of all tasks given the UAV energy capacity constraint. To this end, we first formulate the online scheduling problem as an energy-constrained Markov decision process (MDP). Then, considering the task arrival dynamics, we develop a novel deep risk-sensitive reinforcement learning algorithm. Specifically, the algorithm evaluates the risk, which measures the energy consumption that exceeds the constraint, for each state and searches the optimal parameter weighing the minimization of delay and risk while learning the optimal policy. Extensive simulation results demonstrate that the proposed algorithm can reduce the task processing delay by up to 30% compared to probabilistic configuration methods while satisfying the UAV energy capacity constraint.

研究动机与目标

• 解决在空间-空中-地面一体化网络（SAGIN）中，时延敏感型物联网应用的任务处理时延最小化挑战。
• 设计一种在线任务调度策略，以尊重用于任务卸载的无人飞行器（UAV）的有限能量容量。
• 在地面基站稀疏的场景下，实时处理动态且突发的任务到达。
• 在无人机飞行过程中，优化任务处理时延与能耗之间的权衡。

提出的方法

• 将在线任务调度问题建模为能量约束的马尔可夫决策过程（CMDP），以描述状态转移与奖励函数。
• 提出一种新颖的深度风险敏感强化学习算法，将风险定义为能耗超过无人机容量约束的情况。
• 引入一种加权损失函数，联合最小化时延与风险，并通过可调超参数在策略学习过程中平衡两项目标。
• 采用双深度Q网络（DDQN）架构以稳定训练并提升策略收敛性。
• 引入风险评估机制，根据违反能量约束的可能性动态调整策略。
• 采用经验回放与目标网络技术，提升样本效率与训练稳定性。

实验结果

研究问题

• RQ1 如何在SAGIN中优化任务卸载决策，以最小化时延敏感型物联网服务的端到端时延？
• RQ2 在最小化任务处理时延与避免无人机能量容量违规之间，最优权衡是什么？
• RQ3 在动态且突发的任务到达下，强化学习智能体如何学习有效的调度策略？
• RQ4 风险敏感型强化学习方法是否能优于概率性或确定性基线方案，在维持能量约束的同时降低时延？
• RQ5 所提方法如何适应网络条件的变化，例如无人机覆盖范围与数据速率的变化？

主要发现

• 在相同能量约束下，所提出的DOTS方案相比概率配置（RPC）方法，将任务处理时延降低了高达30%。
• DOTS在全部1,000条模拟飞行轨迹中均成功满足无人机能量容量约束，而RPC方案未能做到这一点。
• SPC基线方案虽满足能量约束，但表现出更高的时延，超过60%的飞行任务时延超过8.5秒，而DOTS在90%的飞行任务中保持较低时延。
• DOTS策略在约60个学习周期后收敛至低时延、低风险策略，展现出稳定且高效的训练过程。
• DOTS学习到的卸载策略能根据覆盖范围与信道条件，动态选择基站或卫星，当超出基站覆盖范围时，有效减少队列时延。
• 在策略收敛后，该方案在平均时延方面优于SPC与RPC，证实其在实时、能量受限环境中的优越性。