[论文解读] Context-Aware Mobility Management in HetNets: A Reinforcement Learning Approach

Meryem Simsek, Mehdi Bennis+1 more|arXiv (Cornell University)|May 7, 2015

Advanced MIMO Systems Optimization参考文献 3被引用 6

一句话总结

本文提出了一种基于强化学习的、上下文感知的异构网络（HetNets）移动性管理框架，使宏站和微微站能够联合优化小区范围扩展（CRE）与用户设备（UE）调度，利用速度和历史速率反馈信息。该方法相比经典方法，将平均UE吞吐量提高最多达80%，并将切换失败概率降低为原来的三分之一。

ABSTRACT

The use of small cell deployments in heterogeneous network (HetNet) environments is expected to be a key feature of 4G networks and beyond, and essential for providing higher user throughput and cell-edge coverage. However, due to different coverage sizes of macro and pico base stations (BSs), such a paradigm shift introduces additional requirements and challenges in dense networks. Among these challenges is the handover performance of user equipment (UEs), which will be impacted especially when high velocity UEs traverse picocells. In this paper, we propose a coordination-based and context-aware mobility management (MM) procedure for small cell networks using tools from reinforcement learning. Here, macro and pico BSs jointly learn their long-term traffic loads and optimal cell range expansion, and schedule their UEs based on their velocities and historical rates (exchanged among tiers). The proposed approach is shown to not only outperform the classical MM in terms of UE throughput, but also to enable better fairness. In average, a gain of up to 80\% is achieved for UE throughput, while the handover failure probability is reduced up to a factor of three by the proposed learning based MM approaches.

研究动机与目标

• 解决由于宏站与微微站覆盖范围差异以及高速UE导致的密集HetNets中切换性能低下的挑战。
• 通过根据实时上下文（如UE速度和历史数据速率）动态调整移动性参数，提升系统吞吐量与公平性。
• 通过跨网络层级的协同学习优化，降低切换失败（HOF）和乒乓切换（PP）事件。
• 通过联合优化小区范围扩展与UE调度，实现HetNets中的负载均衡与高效资源利用。

提出的方法

• 采用多臂赌博机（MAB）和基于满意度的强化学习，在宏站与微微站均实现移动性管理决策的优化。
• 利用层级间交换的速度与历史速率信息，支持上下文感知的调度与小区范围扩展（CRE）决策。
• 基于L3滤波后的RSRP测量结果，实现时间触发（TTT）和切换事件检测，以触发切换。
• 应用长期流量负载估计，指导基站调整其范围扩展偏置（REB）与调度策略。
• 通过有限的跨层级信令协调宏站与微微站，防止冲突切换并减少乒乓效应。
• 将移动性管理问题建模为序列决策过程，使每个基站通过与环境的交互学习其最优策略。

实验结果

研究问题

• RQ1 如何通过在切换决策中引入实时UE速度与历史速率反馈，改善HetNets中的移动性管理？
• RQ2 在高速移动场景下，强化学习在多大程度上可降低切换失败概率与乒乓切换事件？
• RQ3 上下文感知的、基于学习的移动性管理对平均吞吐量与边缘用户设备（UE）吞吐量有何影响？
• RQ4 与经典移动性管理相比，该方法在负载均衡与系统容量方面表现如何？

主要发现

• 基于满意度的学习方法相比经典移动性管理方法，可将平均UE吞吐量提高最多达80%。
• 基于MAB的方法相比经典方法，将小区中心UE吞吐量提高124%，小区边缘UE吞吐量提高39%。
• 在高速移动条件下，使用所提出的基于学习的方法，切换失败概率最多可降低为原来的三分之一。
• 当TTT = 480 ms时，所提方法相比经典MM，将乒乓切换概率降低50%，尤其对高速UE效果更显著。
• 在所有UE密度与微微基站数量下，系统速率增益最高可达85%，且持续优于经典方法。
• 所提框架在宏站每小区包含更多微微基站的情况下仍保持高性能，展现出良好的可扩展性与鲁棒性。