[论文解读] Handover Control in Wireless Systems via Asynchronous Multi-User Deep Reinforcement Learning

Zhi Wang, Lihua Li+3 more|arXiv (Cornell University)|Jan 6, 2018

IPv6, Mobility, Handover, Networks, Security参考文献 24被引用 12

一句话总结

本文提出了一种两层异步多用户深度强化学习框架，用于优化大规模异构用户移动性无线网络中的切换（HO）控制。通过基于移动模式对用户进行聚类，并为每个聚类使用一个全局参数服务器，该方法加速了学习过程，降低了切换频率，同时保持了高吞吐量，优于最先进的在线方案和传统的3GPP方法。

ABSTRACT

In this paper, we propose a two-layer framework to learn the optimal handover (HO) controllers in possibly large-scale wireless systems supporting mobile Internet-of-Things (IoT) users or traditional cellular users, where the user mobility patterns could be heterogeneous. In particular, our proposed framework first partitions the user equipments (UEs) with different mobility patterns into clusters, where the mobility patterns are similar in the same cluster. Then, within each cluster, an asynchronous multi-user deep reinforcement learning scheme is developed to control the HO processes across the UEs in each cluster, in the goal of lowering the HO rate while ensuring certain system throughput. In this scheme, we use a deep neural network (DNN) as an HO controller learned by each UE via reinforcement learning in a collaborative fashion. Moreover, we use supervised learning in initializing the DNN controller before the execution of reinforcement learning to exploit what we already know with traditional HO schemes and to mitigate the negative effects of random exploration at the initial stage. Furthermore, we show that the adopted global-parameter-based asynchronous framework enables us to train faster with more UEs, which could nicely address the scalability issue to support large systems. Finally, simulation results demonstrate that the proposed framework can achieve better performance than the state-of-art on-line schemes, in terms of HO rates.

研究动机与目标

• 为解决传统宏小区方案中静态切换参数导致的超密集网络（UDNs）中频繁切换问题。
• 开发一种可扩展的、无需网络动态先验知识（如UE轨迹或信道模型）的模型无关学习方法。
• 在大规模、异构移动性环境中降低切换频率，同时保持高系统吞吐量。
• 通过利用监督学习进行DNN初始化以及在UE之间异步更新参数，加速学习并提高样本效率。

提出的方法

• 该框架首先根据相似的移动模式对用户设备（UEs）进行聚类，以将具有类似切换行为的UE分组。
• 在每个聚类内，采用异步优势演员-critic（A3C）强化学习方案，UEs通过中心参数服务器异步更新共享的全局DNN策略。
• 使用深度Q网络（DQN）近似器作为切换控制器，通过传统切换方案的监督学习进行初始化，以减少早期探索阶段的低效性。
• 全局参数服务器聚合来自多个UE的梯度，从而实现更快的收敛速度，并支持UE数量增加时的可扩展性。
• 训练过程中使用状态值函数估计和基于置信上界（UCB）原则的动作选择，以平衡探索与利用。
• 该框架支持在线和离线推理，使新到达的UE能够利用参数服务器中的预训练模型。

实验结果

研究问题

• RQ1 异步多用户深度强化学习框架是否能在大规模、异构移动性环境中有效降低切换频率？
• RQ2 基于移动模式对UE进行聚类如何影响切换控制策略的可扩展性和学习效率？
• RQ3 基于监督学习的初始化在多大程度上能提升深度强化学习在切换控制中的样本效率和性能？
• RQ4 全局参数服务器架构是否能随着UE数量的增加而实现更快的收敛速度和更好的可扩展性？
• RQ5 与最先进的在线方案和传统的3GPP切换方案相比，该方法在切换频率和系统吞吐量方面表现如何？

主要发现

• 仿真结果表明，所提框架相比3GPP方法将切换频率降低了高达80%，同时系统吞吐量得到提升。
• 通过每个聚类配备一个全局参数服务器的聚类机制，加速了学习过程并提升了性能，表现为状态值函数估计收敛速度更快。
• 利用监督学习初始化DQN近似器显著减少了早期训练阶段随机探索带来的负面影响。
• 异步A3C框架在UE数量增加时表现出良好的可扩展性，延迟因子随UE数量呈亚线性增长，支持大规模部署。
• 在相同学习时间后，该方法在切换频率和吞吐量方面均优于基于UCB的在线学习基线，证明了其更优的样本效率。
• 通过利用参数服务器中的预训练模型，新到达的UE能够立即实现良好性能，避免了初始策略表现差的问题。