[论文解读] Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach

Jialin Dong, Jun Zhang+2 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文提出了一种基于多臂赌博机（MAB）的坐标下降框架，以加速物联网中免授权大规模随机接入下的联合设备活动检测与数据解码。通过用汤普森采样和伯努利采样策略替代随机坐标选择，该方法在收敛速度和时间复杂度方面优于现有最先进方法，且在低精度ADC场景下具备理论后悔边界和实验验证。

ABSTRACT

This paper investigates the grant-free random access with massive IoT devices. By embedding the data symbols in the signature sequences, joint device activity detection and data decoding can be achieved, which, however, significantly increases the computational complexity. Coordinate descent algorithms that enjoy a low per-iteration complexity have been employed to solve the detection problem, but previous works typically employ a random coordinate selection policy which leads to slow convergence. In this paper, we develop multi-armed bandit approaches for more efficient detection via coordinate descent, which make a delicate trade-off between exploration and exploitation in coordinate selection. Specifically, we first propose a bandit based strategy, i.e., Bernoulli sampling, to speed up the convergence rate of coordinate descent, by learning which coordinates will result in more aggressive descent of the objective function. To further improve the convergence rate, an inner multi-armed bandit problem is established to learn the exploration policy of Bernoulli sampling. Both convergence rate analysis and simulation results are provided to show that the proposed bandit based algorithms enjoy faster convergence rates with a lower time complexity compared with the state-of-the-art algorithm. Furthermore, our proposed algorithms are applicable to different scenarios, e.g., massive random access with low-precision analog-to-digital converters (ADCs).

研究动机与目标

• 解决大规模免授权随机接入中因随机坐标选择导致的坐标下降收敛缓慢问题。
• 降低由具有突发流量的大量物联网设备引发的高维检测问题的计算复杂度。
• 开发自适应坐标选择策略，以平衡探索与利用，从而加速收敛。
• 确保在包括低精度模数转换器（ADC）系统在内的多种场景下的适用性。
• 为所提出的基于赌博机的算法提供严格的后悔分析，以建立理论收敛保证。

提出的方法

• 引入一个内部多臂赌博机（MAB）问题，以学习坐标下降中伯努利采样所用的探索策略。
• 使用具有β分布先验的汤普森采样来建模坐标选择中的不确定性，从而实现自适应的探索-利用权衡。
• 基于目标函数的下降定义奖励函数，使用残差减少量与归一化因子的比值来指导选择。
• 应用几何随机变量近似，以界定最优坐标连续被选择的期望步数。
• 通过分离未饱和臂与饱和臂的贡献，利用集中不等式和β分布累积分布函数，推导出后悔边界。
• 通过将期望后悔界定为 $ O\left(\left(\sum_{b=2}^{q}\frac{1}{d_b^2}\right)^2 \ln T\right) $ 建立理论收敛性，其中 $ d_b $ 为与最优臂的差距。

实验结果

研究问题

• RQ1 多臂赌博机策略能否提升联合设备活动与数据检测中坐标下降的收敛速度？
• RQ2 具有非整数β分布参数的汤普森采样在自适应坐标选择中的后悔性能如何？
• RQ3 所提出的基于赌博机的坐标下降算法在大规模随机接入系统中的理论后悔边界是什么？
• RQ4 在低精度ADC条件下，所提出方法能否保持快速收敛？这是大规模物联网部署中的实际约束。
• RQ5 自适应伯努利采样策略与随机坐标选择相比，在时间复杂度和收敛速率方面表现如何？

主要发现

• 所提出的基于赌博机的坐标下降方法通过智能选择能在目标函数中实现更陡峭下降的坐标，实现了比现有最先进算法更快的收敛速度。
• 理论分析表明，期望后悔随时间呈 $ O\left(\left(\sum_{b=2}^{q}\frac{1}{d_b^2}\right)^2 \ln T\right) $ 的亚线性增长，表明其随时间增长缓慢。
• 通过使用汤普森采样和伯努利采样实现的自适应探索，替代随机坐标选择，显著降低了时间复杂度。
• 仿真结果证实，即使在低精度ADC条件下，该方法仍表现出更快的收敛速度和更低的计算成本。
• 内部MAB框架成功学习到最优探索策略，有效最小化了由次优臂选择带来的后悔。
• 该分析通过处理β分布中的非整数参数，拓展了先前工作，使得坐标选择中的不确定性建模更加自然且具有一般性。