[论文解读] Echo State Learning for Wireless Virtual Reality Resource Allocation in UAV-enabled LTE-U Networks

Mingzhe Chen, Walid Saad+1 more|arXiv (Cornell University)|Aug 2, 2017

UAV Applications and Optimization参考文献 6被引用 4

一句话总结

本文提出一种基于回声状态网络（ESN）的学习算法，采用漏极积分器神经元，联合优化无人机（UAV）支持的LTE-U网络中授权/非授权频谱分配、图像质量和格式，以提升无线虚拟现实（VR）的性能。该方法使无人机能够动态适应持续变化的用户行为，相比LTE网络中的Q-learning，VR整体用户体验质量（QoE）最高提升27.1%。

ABSTRACT

In this paper, the problem of resource management is studied for a network of wireless virtual reality (VR) users communicating using an unmanned aerial vehicle (UAV)-enabled LTE-U network. In the studied model, the UAVs act as VR control centers that collect tracking information from the VR users over the wireless uplink and, then, send the constructed VR images to the VR users over an LTE-U downlink. Therefore, resource allocation in such a UAV-enabled LTE-U network must jointly consider the uplink and downlink links over both licensed and unlicensed bands. In such a VR setting, the UAVs can dynamically adjust the image quality and format of each VR image to change the data size of each VR image, then meet the delay requirement. Therefore, resource allocation must also take into account the image quality and format. This VR-centric resource allocation problem is formulated as a noncooperative game that enables a joint allocation of licensed and unlicensed spectrum bands, as well as a dynamic adaptation of VR image quality and format. To solve this game, a learning algorithm based on the machine learning tools of echo state networks (ESNs) with leaky integrator neurons is proposed. Unlike conventional ESN based learning algorithms that are suitable for discrete-time systems, the proposed algorithm can dynamically adjust the update speed of the ESN's state and, hence, it can enable the UAVs to learn the continuous dynamics of their associated VR users. Simulation results show that the proposed algorithm achieves up to 14% and 27.1% gains in terms of total VR QoE for all users compared to Q-learning using LTE-U and Q-learning using LTE.

研究动机与目标

• 解决在用户移动性动态变化且数据需求高的情况下，无人机支持的LTE-U网络中无线VR的严格时延要求挑战。
• 在上行和下行链路中，联合优化授权频段与非授权频段的资源分配，以满足VR应用需求。
• 引入VR图像质量和格式的动态自适应机制，以减小数据量并满足时延约束。
• 在确保端到端时延合规的前提下，最大化所有VR用户的总用户体验质量（QoE）。
• 开发一种基于学习的解决方案，使无人机能够适应VR用户行为和环境变化的持续动态。

提出的方法

• 将资源分配问题建模为非合作博弈，其中无人机作为玩家，旨在最大化其用户QoE。
• 提出一种新型基于ESN的学习算法，采用漏极积分器神经元，以建模和学习VR用户行为的连续时间动态特性。
• 根据用户状态变化动态调整ESN的状态更新速度，以提升学习效率和收敛性。
• 利用ESN基于历史数据预测未来效用值，实现前瞻性资源分配决策。
• 将授权与非授权频段的频谱分配，与图像质量和格式自适应联合作为控制变量。
• 利用所提出的ESN学习机制求解博弈的纳什均衡，确保资源分配的稳定与最优。

实验结果

研究问题

• RQ1 在LTE-U网络中，无人机如何联合分配授权与非授权频谱，以满足VR应用的严格时延要求？
• RQ2 在高移动性VR环境中，VR图像质量和格式的动态自适应能在多大程度上减小数据量并提升QoE？
• RQ3 基于ESN的学习算法结合漏极积分器神经元，能否有效建模并适应VR用户行为的连续动态？
• RQ4 与传统Q-learning和传统ESN相比，所提出的基于ESN的方法在收敛速度和QoE性能方面表现如何？
• RQ5 无人机密度对满足时延要求的用户比例及整体QoE在所提框架中的影响是什么？

主要发现

• 所提出的基于ESN的算法在LTE-U网络中相比Q-learning，VR总QoE最高提升14%。
• 在传统LTE网络中，所提出的算法相比Q-learning，VR总QoE最高提升27.1%。
• 与传统ESN算法相比，该算法收敛速度提升11.3%；与Q-learning相比，收敛速度提升17.4%（以所需迭代次数衡量）。
• 随着无人机密度增加，满足时延要求的用户比例提升，所提算法相比基线方法最高实现40.1%的增益。
• 采用漏极积分器神经元可实现学习速度的动态调节，显著提升ESN在实时环境中跟踪和预测效用变化的能力。
• 一旦满足时延要求，所提算法能稳定QoE，不再进一步降低时延，表明资源利用效率高。