[论文解读] Energy Minimization in UAV-Aided Networks: Actor-Critic Learning for Constrained Scheduling Optimization

Yaxiong Yuan, Lei Lei+4 more|ArXiv.org|Jun 24, 2020

UAV Applications and Optimization参考文献 37被引用 5

一句话总结

本文提出了一种基于演员-评论家的深度强化学习算法 AC-DSOS，用于在无人机辅助网络中实现节能调度，通过联合优化用户调度与无人机悬停时间。该方法通过动作空间约束和定制化的奖励函数，解决了大规模离散动作空间与不可行动作的问题，在毫秒级计算时间内实现了相较于传统DRL 29.94%的节能效果，计算效率优于离线基准方法，同时保持了接近最优的性能。

ABSTRACT

In unmanned aerial vehicle (UAV) applications, the UAV's limited energy supply and storage have triggered the development of intelligent energy-conserving scheduling solutions. In this paper, we investigate energy minimization for UAV-aided communication networks by jointly optimizing data-transmission scheduling and UAV hovering time. The formulated problem is combinatorial and non-convex with bilinear constraints. To tackle the problem, firstly, we provide an optimal relax-and-approximate solution and develop a near-optimal algorithm. Both the proposed solutions are served as offline performance benchmarks but might not be suitable for online operation. To this end, we develop a solution from a deep reinforcement learning (DRL) aspect. The conventional RL/DRL, e.g., deep Q-learning, however, is limited in dealing with two main issues in constrained combinatorial optimization, i.e., exponentially increasing action space and infeasible actions. The novelty of solution development lies in handling these two issues. To address the former, we propose an actor-critic-based deep stochastic online scheduling (AC-DSOS) algorithm and develop a set of approaches to confine the action space. For the latter, we design a tailored reward function to guarantee the solution feasibility. Numerical results show that, by consuming equal magnitude of time, AC-DSOS is able to provide feasible solutions and saves 29.94% energy compared with a conventional deep actor-critic method. Compared to the developed near-optimal algorithm, AC-DSOS consumes around 10% higher energy but reduces the computational time from minute-level to millisecond-level.

研究动机与目标

• 解决具有动态实时调度需求的能量受限无人机辅助网络的挑战。
• 应对在能量与时延约束下，联合用户调度与悬停时间优化所呈现的组合性与非凸性问题。
• 开发一种可扩展的在线解决方案，在能效与计算速度之间实现平衡，克服确定性优化与传统DRL方法的局限性。
• 在高维离散动作空间中确保解的可行性，此类空间中传统DRL方法因不可行动作而失效。
• 设计一种奖励函数，以确保用户需求满足的同时最小化总能耗。

提出的方法

• 提出一种基于演员-评论家的深度随机在线调度（AC-DSOS）算法，以处理无人机调度中的大规模离散动作空间。
• 实施动作空间约束技术，以缩小搜索空间并提升学习效率。
• 设计一种定制化的奖励函数，对未满足的用户需求进行惩罚，同时鼓励实现节能且可行的解决方案。
• 采用双演员-评论家框架，使用独立网络分别实现策略（演员）与价值函数（评论家），以稳定训练并加速收敛。
• 集成一种松弛-近似方法与一种基于GSS的启发式算法作为离线基准，用于性能评估。
• 利用经验回放与目标网络训练AC-DSOS智能体，以提升样本效率与训练稳定性。

实验结果

研究问题

• RQ1 如何将深度强化学习适配于处理多用户与多时隙场景下无人机调度中呈指数级增长的离散动作空间？
• RQ2 何种奖励函数设计策略可确保在涉及用户需求满足的约束组合优化问题中解的可行性？
• RQ3 AC-DSOS在能效与计算速度方面相较于传统DRL方法（如DQN与DDPG）的性能提升程度如何？
• RQ4 在能耗与运行时可扩展性方面，所提方法与最优及启发式离线基准相比表现如何？
• RQ5 哪些超参数设置（如学习率）可实现AC-DSOS训练过程的稳定与最优收敛？

主要发现

• AC-DSOS将计算时间从分钟级（最优方法）降低至毫秒级，在K=7时相比最优松弛-近似方法实现了99.23%的减少。
• 尽管比近似最优启发式方法高出10%的能耗，AC-DSOS相比传统深度演员-评论家方法（如DDPG）仍实现了29.94%的节能效果。
• 所提出的奖励函数在ε=1.2时可确保100%的需求满足，同时最小化能耗，优于无法保证可行性的标准奖励函数。
• AC-DSOS在保持接近最优性能的同时，计算时间极低（对K不敏感），而GSS-HEU与最优方法在K增大时性能显著下降。
• 演员网络的学习率对收敛性影响显著；αa=0.003时性能最佳，而αa=0.005导致训练不稳定，并使收敛奖励降低7.2%。
• 能耗随T_max增加而减少，直至某一临界点后趋于稳定；通信能耗在T_max=140前迅速下降，而悬停能耗呈线性增长。