[论文解读] Meta-Reinforcement Learning for Reliable Communication in THz/VLC Wireless VR Networks

Yining Wang, Mingzhe Chen+5 more|arXiv (Cornell University)|Jan 29, 2021

Optical Wireless Communication Technologies被引用 6

一句话总结

该论文提出了一种基于元策略梯度（MPG）和基于对偶的元策略梯度（D-MPG）算法的元强化学习框架，用于优化太赫兹/可见光通信（THz/VLC）室内虚拟现实（VR）网络中的VAP选择与用户关联，相较于TRPO，成功用户吞吐量最高提升26.8%，收敛速度提升87.5%，并能快速适应动态用户移动性和链路阻塞。

ABSTRACT

In this paper, the problem of enhancing the quality of virtual reality (VR) services is studied for an indoor terahertz (THz)/visible light communication (VLC) wireless network. In the studied model, small base stations (SBSs) transmit high-quality VR images to VR users over THz bands and light-emitting diodes (LEDs) provide accurate indoor positioning services for them using VLC. Here, VR users move in real time and their movement patterns change over time according to their applications, where both THz and VLC links can be blocked by the bodies of VR users. To control the energy consumption of the studied THz/VLC wireless VR network, VLC access points (VAPs) must be selectively turned on so as to ensure accurate and extensive positioning for VR users. Based on the user positions, each SBS must generate corresponding VR images and establish THz links without body blockage to transmit the VR content. The problem is formulated as an optimization problem whose goal is to maximize the reliability of the VR network by selecting the appropriate VAPs to be turned on and controlling the user association with SBSs. To solve this problem, a policy gradient-based reinforcement learning (RL) algorithm that adopts a meta-learning approach is proposed. The proposed meta policy gradient (MPG) algorithm enables the trained policy to quickly adapt to new user movement patterns. In order to solve the problem of maximizing the average number of successfully served users for VR scenarios with a large number of users, a dual method based MPG algorithm (D-MPG) with a low complexity is proposed. Simulation results demonstrate that, compared to the trust region policy optimization algorithm (TRPO), the proposed MPG and D-MPG algorithms yield up to 26.8% and 21.9% improvement in the reliability as well as 81.2% and 87.5% gains in the convergence speed, respectively.

研究动机与目标

• 解决在具有动态用户移动性和频繁链路阻塞的室内太赫兹/可见光通信无线VR网络中保持高可靠性的挑战。
• 优化可见光通信（VLC）接入点（VAP）的选择以及与太赫兹（THz）小基站（SBS）的用户关联，以最大化成功服务的VR用户数量。
• 实现控制策略对新用户移动模式的快速适应，而无需从头开始重新训练。
• 在大规模VR场景中降低计算复杂度，同时保持高可靠性。
• 通过D-MPG算法中的对偶方法优化，在性能增益与处理时间之间实现平衡。

提出的方法

• 将联合VAP选择与用户关联问题建模为马尔可夫决策过程（MDP），以最大化成功服务用户的平均数量。
• 设计一种元策略梯度（MPG）算法，通过在多个用户移动任务间学习共享的策略初始化，实现在新模式下的快速适应。
• 将元学习与策略梯度强化学习相结合，使策略能够泛化于多样化用户移动动力学。
• 提出一种基于对偶方法的MPG（D-MPG）算法，利用匈牙利算法求解用户关联的对偶问题，降低计算复杂度。
• 采用信任区域策略优化（TRPO）作为基线进行比较，MPG与D-MPG策略在多样化用户移动任务上进行训练，以提升泛化能力。
• 通过任务采样与元优化相结合的方式训练策略，其中策略根据在多个模拟用户移动场景中的表现进行更新。

实验结果

研究问题

• RQ1 元强化学习能否在动态太赫兹/可见光通信VR网络中，以最少的再训练实现对新用户移动模式的有效适应？
• RQ2 与传统TRPO相比，所提出的MPG算法在动态VR环境中如何提升收敛速度与可靠性？
• RQ3 D-MPG算法在大规模VR网络中（用户数量众多）能在多大程度上降低计算复杂度，同时保持高性能？
• RQ4 VAP选择与用户关联的联合优化如何影响太赫兹/可见光通信VR服务的可靠性和吞吐量？
• RQ5 在高密度VR场景中使用D-MPG算法时，处理时间与可靠性增益之间存在何种权衡？

主要发现

• 所提出的MPG算法相较于TRPO基线，成功服务VR用户的平均数量最高提升26.8%。
• D-MPG算法相较于TRPO，在成功服务用户数量的平均值上提升21.9%。
• MPG算法相比TRPO将收敛时间减少81.2%，仅需30次迭代即可在新任务上收敛。
• D-MPG算法相比TRPO将收敛时间减少87.5%，仅需20次迭代即可在新任务上收敛。
• 由于元学习得到的广泛适用的策略参数，MPG与D-MPG算法分别实现最高13.2%和10.3%的可靠性增益。
• 可视化结果证实，所提出的算法能有效选择VAP并关联用户至SBS，从而在用户移动和链路阻塞情况下仍保持链路可靠性。