[论文解读] Multi-Armed Bandit Dynamic Beam Zooming for mmWave Alignment and Tracking

Nathan Blinn, Matthieu R. Bloch|arXiv (Cornell University)|Sep 7, 2022

Millimeter-Wave Propagation and Modeling被引用 4

一句话总结

本文提出了一种低复杂度的多臂赌博机算法——连续子树消除（SSE），用于利用层级码本进行毫米波波束赋形。通过利用奖励的单峰结构和固定置信度最优臂识别，SSE在仅需极少信道状态信息的情况下实现了接近最优的性能，显著优于其他低复杂度方法，尤其在低信噪比（SNR）环境下表现突出，同时可通过闭式样本复杂度分析实现离线参数调优。

ABSTRACT

We propose an Integrated Sensing and Communication (ISAC) algorithm that exploits the structure of a hierarchical codebook of beamforming vectors using a best-arm identification Multi-Armed Bandit (MAB) approach for initial alignment and tracking of a Mobile Entity (ME). The algorithm, called Dynamic Beam Zooming (DBZ), performs beam adjustments that mitigate the severe outages associated with wireless mmWave systems and allow for adaptive control of the parameters governing communications. We analyze the sample complexity of DBZ and use it to inform how the algorithm adapts to the nonstationary MAB statistics based on ME motion and Signal-to-Noise Ratio (SNR). We perform extensive simulations to validate the approach and demonstrate that DBZ is competitive against existing Bayesian algorithms, without requiring channel multipath or fading knowledge. In particular, DBZ outperforms other low-complexity algorithms in the low SNR regime. We also illustrate the efficacy of DBZ in standardized rural and urban scenarios using NYU Sim.

研究动机与目标

• 通过实现更快的初始波束赋形，解决毫米波系统中全范围波束扫描带来的高训练开销问题。
• 开发一种低复杂度的替代方案，以替代需要大量信道状态信息或训练的贝叶斯和深度学习方法。
• 利用波束码本的层级结构以及波束增益的近似单峰特性，加速波束选择的收敛速度。
• 为固定置信度最优臂识别设置提供理论保证，涵盖样本复杂度和正确性，适用于毫米波波束赋形场景。
• 通过闭式样本复杂度表达式，实现算法参数的离线调优。

提出的方法

• 将毫米波波束赋形建模为多臂赌博机框架下的固定置信度最优臂识别问题，将码本波束视为各“臂”。
• 提出连续子树消除（SSE），一种顺序采样策略，通过消除被低置信度判定为非最优的波束子树来逐步收敛。
• 基于霍夫丁不等式（Hoeffding's inequality）构建置信区间，以限制每个波束的真实平均奖励，且在每次信道观测后更新边界。
• 利用层级码本结构以利用空间相关性，减少搜索空间，从而实现对最强路径的高效波束成形。
• 应用单峰奖励假设，以合理地剪枝不可能为最优的波束，从而提升收敛速度。
• 推导出SSE的闭式样本复杂度表达式，使设计参数（如置信度水平和误差容忍度）的离线优化成为可能。

实验结果

研究问题

• RQ1 一种低复杂度的多臂赌博机算法是否能在不依赖完整信道状态信息的情况下实现接近最优的波束赋形性能？
• RQ2 层级码本结构与波束增益的单峰特性如何协同作用，以提升毫米波波束赋形中的收敛速度？
• RQ3 在毫米波波束赋形背景下，固定置信度最优臂识别算法的理论样本复杂度是多少？
• RQ4 在低信噪比条件下，SSE与最先进的贝叶斯及深度学习波束赋形方法相比表现如何？
• RQ5 该算法的样本复杂度能否以闭式表达，从而实现离线参数调优？

主要发现

• SSE在性能上可与最先进的贝叶斯算法（如HPM）相媲美，但计算复杂度显著更低，且无需信道状态信息。
• 在低信噪比环境下，SSE优于其他低复杂度算法（如UBA和HBA），表现出更强的抗噪声鲁棒性。
• 该算法的样本复杂度以闭式表达，使置信度水平和误差容忍度等参数的离线调优成为可能。
• 理论分析证明，在固定置信度设置下，SSE以高概率正确识别出最优波束。
• 波束增益的单峰结构使得对次优波束子树的有效剪枝成为可能，从而显著加速收敛。
• 在慢衰落信道上的大量仿真结果验证了理论发现，证实了该算法的鲁棒性与高效性。