[论文解读] Echo State Transfer Learning for Data Correlation Aware Resource Allocation in Wireless Virtual Reality

Mingzhe Chen, Walid Saad+2 more|arXiv (Cornell University)|Nov 25, 2017

Neural Networks and Reservoir Computing参考文献 7被引用 3

一句话总结

该论文提出了一种基于回声状态网络（ESN）的迁移学习算法，用于无线虚拟现实（VR）网络中的数据相关性感知资源分配。通过利用动态环境中学习到的效用迁移，该方法相比Q-learning基线方法将收敛速度加快并减少高达18.2%的延迟，同时在非合作博弈框架下联合优化频谱与计算资源。

ABSTRACT

In this paper, the problem of data correlation-aware resource management is studied for a network of wireless virtual reality (VR) users communicating over cloud-based small cell networks (SCNs). In the studied model, small base stations (SBSs) with limited computational resources act as VR control centers that collect the tracking information from VR users over the cellular uplink and send them to the VR users over the downlink. In such a setting, VR users may send or request correlated or similar data (panoramic images and tracking data). This potential spatial data correlation can be factored into the resource allocation problem to reduce the traffic load in both uplink and downlink. This VR resource allocation problem is formulated as a noncooperative game that allows jointly optimizing the computational and spectrum resources, while being cognizant of the data correlation. To solve this game, a transfer learning algorithm based on the machine learning framework of echo state networks (ESNs) is proposed. Unlike conventional reinforcement learning algorithms that must be executed each time the environment changes, the proposed algorithm can intelligently transfer information on the learned utility, across time, to rapidly adapt to environmental dynamics due to factors such as changes in the users' content or data correlation. Simulation results show that the proposed algorithm achieves up to 16.7% and 18.2% gains in terms of delay compared to the Q-learning with data correlation and Q-learning without data correlation. The results also show that the proposed algorithm has a faster convergence time than Q-learning and can guarantee low delays.

研究动机与目标

• 解决由于在上行链路、下行链路和计算平面中资源分配未优化而导致的无线虚拟现实（VR）系统高延迟问题。
• 构建一个联合资源分配问题，考虑小基站（SBS）之间VR用户之间的空间数据相关性，如相关全景图像和追踪数据。
• 设计一个非合作博弈框架，其中SBS作为参与者，通过优化自身效用函数以最小化VR延迟。
• 设计一种基于回声状态网络（ESNs）的迁移学习算法，使系统能够快速适应环境变化，如用户数据相关性的改变或内容动态变化。
• 在动态VR网络场景中，实现比传统Q-learning方法更快的收敛速度和更低的端到端延迟。

提出的方法

• 将无线VR系统建模为一个基于云的小基站网络（SCN），包含U个VR用户和B个SBS，其中SBS负责上行链路追踪数据收集和下行链路VR图像传输。
• 将资源分配问题表述为一个非合作博弈，其中每个SBS通过在资源块和计算资源分配上优化其混合策略，以最小化一个捕捉端到端延迟的效用函数。
• 提出一种基于回声状态网络（ESN）的迁移学习算法，通过保持动态储备池状态并学习输出权重，来估计时间步之间的效用差异。
• 通过在用户数据相关性或状态信息发生变化时重用先前学习到的效用值，实现知识迁移，从而减少完全重新训练的需求。
• 在ESN算法中实施ε-贪婪探索策略，以在学习过程中平衡探索与利用，同时在SBS之间广播混合策略。
• 使用递归最小二乘法（RLS）更新输出权重矩阵，以基于观测到的动作结果和状态转移自适应地优化效用估计。

实验结果

研究问题

• RQ1 如何利用VR用户之间的数据相关性来降低无线小细胞网络中的上行链路和下行链路流量负载？
• RQ2 在动态网络环境中，联合频谱与计算资源分配对端到端VR延迟有何影响？
• RQ3 与传统Q-learning相比，通过回声状态网络（ESNs）实现的迁移学习是否能显著提升VR资源分配中的收敛速度和延迟性能？
• RQ4 所提出的算法如何在不从头开始重新学习的情况下适应用户数据相关性或内容动态的变化？
• RQ5 在VR资源分配中引入数据相关性和迁移学习后，延迟和收敛速度方面可实现哪些性能提升？

主要发现

• 当使用6个SBS时，所提出的基于ESN的迁移学习算法相比使用和不使用数据相关性的Q-learning，分别实现了最高16.7%和18.2%的平均延迟降低。
• 与ESN基线相比，收敛速度加快22.5%；与使用数据相关性的Q-learning相比，收敛速度加快36%，如收敛时间对比所示。
• 在用户数据相关性较高的场景中，延迟改善最为显著，此时算法能有效利用学习到的效用迁移，减少重新训练的开销。
• 当SBS数量超过最优点后，干扰增加且延迟上升，表明覆盖密度与干扰之间存在权衡，而该算法有助于缓解此问题。
• 随着SBS数量增加，用户数据相关性因每个SBS的用户分布更稀疏而减弱，导致不同Q-learning变体之间的偏差减小。
• 即使在用户状态或内容发生变化时，该算法仍能保持低延迟和快速适应，表明其在动态VR环境中的鲁棒性。