[论文解读] Reinforcement learning techniques for Outer Loop Link Adaptation in 4G/5G systems

Saishankar Katri Pulliyakode, Sheetal Kalyani|arXiv (Cornell University)|Aug 3, 2017

Advanced Bandit Algorithms Research参考文献 19被引用 10

一句话总结

本文提出一种基于强化学习的4G/5G系统外环链路自适应（OLLA）方案，采用多臂赌博机（MAB）框架，结合二分查找与大偏差界限，以实现目标块错误率（BLER）下的高吞吐量。该方法确保90%的用户达到或超过目标BLER，且在BLER控制与频谱效率方面均优于启发式方案（如聚类法）。

ABSTRACT

Wireless systems perform rate adaptation to transmit at highest possible instantaneous rates. Rate adaptation has been increasingly granular over generations of wireless systems. The base-station uses SINR and packet decode feedback called acknowledgement/no acknowledgement (ACK/NACK) to perform rate adaptation. SINR is used for rate anchoring called inner look adaptation and ACK/NACK is used for fine offset adjustments called Outer Loop Link Adaptation (OLLA). We cast the OLLA as a reinforcement learning problem of the class of Multi-Armed Bandits (MAB) where the different offset values are the arms of the bandit. In OLLA, as the offset values increase, the probability of packet error also increase, and every user equipment (UE) has a desired Block Error Rate (BLER) to meet certain Quality of Service (QoS) requirements. For this MAB we propose a binary search based algorithm which achieves a Probably Approximately Correct (PAC) solution making use of bounds from large deviation theory and confidence bounds. In addition to this we also discuss how a Thompson sampling or UCB based method will not help us meet the target objectives. Finally, simulation results are provided on an LTE system simulator and thereby prove the efficacy of our proposed algorithm.

研究动机与目标

• 为解决因CQI反馈不准确、SINR估计误差及用户设备（UE）特定偏差导致的4G/5G系统中精确块错误率（BLER）控制挑战。
• 设计一种基站侧的OLLA算法，动态调整传输速率偏移量，且不依赖专有的UE算法。
• 提供一种数学上严谨、可扩展且自适应的OLLA解决方案，确保每位用户达到目标BLER，同时最大化频谱效率。
• 克服启发式OLLA方案（如聚类法）的局限性，后者缺乏理论保证，且常导致吞吐量下降。
• 证明强化学习（特别是带置信区间的大偏差MAB）可有效应用于实时无线链路自适应，且样本复杂度低。

提出的方法

• 将OLLA建模为多臂赌博机（MAB）问题，其中每个可能的偏移值为一个“臂”，ACK/NACK反馈作为随机奖励。
• 提出一种基于二分查找的MAB算法，利用大偏差理论推导出紧致的置信区间，从而最小化所需“臂”的拉动次数。
• 利用霍夫丁不等式（Hoeffding's inequality）导出的置信区间，高效剪枝次优臂，降低样本复杂度。
• 采用“可能近似正确”（PAC）学习框架，确保以高概率收敛至最优偏移量。
• 将所提方法与汤普森采样（Thompson Sampling）和UCB进行对比，认为二者在特定BLER目标约束下缺乏收敛性保证，因此不适用。
• 在LTE系统仿真器上构建系统性仿真设置，评估多种目标BLER（7.5%与10%）下的性能，并与基线方案进行比较。

实验结果

研究问题

• RQ1 基于强化学习的MAB框架能否有效应用于4G/5G系统的外环链路自适应，以实现精确的BLER控制？
• RQ2 如何利用大偏差理论与置信区间降低OLLA中所需反馈样本的数量？
• RQ3 为何标准MAB方法（如汤普森采样与UCB）在严格BLER约束下不适用于OLLA？
• RQ4 所提MAB-based OLLA在BLER精度与频谱效率方面，相较于启发式方案（如聚类法）的优越程度如何？
• RQ5 所提方法能否在保证高比例用户达到目标BLER的同时，相较无OLLA或启发式方案提升吞吐量？

主要发现

• 所提MAB-based OLLA在目标BLER为7.5%时，80%的用户BLER ≤ 7.5%，展现出对误码率的强控制能力。
• 在7.5%目标BLER下，用户平均BLER为6.66%，表明在达成目标方面具有高度一致性和精确性。
• 吞吐量表现更优：MAB方案下30%的用户吞吐量超过2 Mbps，而聚类法仅18%，且后者甚至低于无OLLA基线。
• MAB方案的平均偏移值为-2.39，表明在可靠性与速率之间实现了良好平衡；而聚类法采用过度保守的偏移量（< -4）。
• MAB方案平均吞吐量达1.55 Mbps，优于聚类法（1.25 Mbps）与无OLLA基线（1.43 Mbps）。
• 通过大偏差界限与置信区间，显著降低了样本复杂度，实现了快速且可靠的最优偏移量收敛。