[论文解读] Camera Based mmWave Beam Prediction: Towards Multi-Candidate Real-World Scenarios

Gouranga Charan, Muhammad Alrabeiah+2 more|arXiv (Cornell University)|Aug 14, 2023

Millimeter-Wave Propagation and Modeling被引用 4

一句话总结

该论文提出了一种结合摄像头和位置信息的视觉辅助波束预测框架，旨在降低真实世界多候选车辆到基础设施（V2I）场景中毫米波波束训练的开销。通过深度学习方法，在真实世界的DeepSense 6G数据集上，该方法实现了约95%的top-5波束预测准确率和超过93%的发射机识别准确率，显著优于以往基于合成数据的方法。

ABSTRACT

Leveraging sensory information to aid the millimeter-wave (mmWave) and sub-terahertz (sub-THz) beam selection process is attracting increasing interest. This sensory data, captured for example by cameras at the basestations, has the potential of significantly reducing the beam sweeping overhead and enabling highly-mobile applications. The solutions developed so far, however, have mainly considered single-candidate scenarios, i.e., scenarios with a single candidate user in the visual scene, and were evaluated using synthetic datasets. To address these limitations, this paper extensively investigates the sensing-aided beam prediction problem in a real-world multi-object vehicle-to-infrastructure (V2I) scenario and presents a comprehensive machine learning-based framework. In particular, this paper proposes to utilize visual and positional data to predict the optimal beam indices as an alternative to the conventional beam sweeping approaches. For this, a novel user (transmitter) identification solution has been developed, a key step in realizing sensing-aided multi-candidate and multi-user beam prediction solutions. The proposed solutions are evaluated on the large-scale real-world DeepSense $6$G dataset. Experimental results in realistic V2I communication scenarios indicate that the proposed solutions achieve close to $100\%$ top-5 beam prediction accuracy for the scenarios with single-user and close to $95\%$ top-5 beam prediction accuracy for multi-candidate scenarios. Furthermore, the proposed approach can identify the probable transmitting candidate with more than $93\%$ accuracy across the different scenarios. This highlights a promising approach for nearly eliminating the beam training overhead in mmWave/THz communication systems.

研究动机与目标

• 填补真实世界中视觉辅助毫米波波束预测评估的空白，特别是在动态、视觉多样性高的环境中存在多个潜在发射机的情况下。
• 克服以往研究依赖合成数据集和单候选假设所带来的局限性。
• 开发一种鲁棒的多候选波束预测系统，整合视觉与位置信息以实现准确的波束索引选择。
• 通过在大规模真实世界数据集上的验证，实现感知辅助波束训练在高速移动毫米波/太赫兹网络中的实际部署。

提出的方法

• 利用DeepSense 6G数据集中提供的RGB摄像头数据和GPS/定位信息，训练深度神经网络（DNN）以实现波束预测。
• 引入一种新颖的用户（发射机）识别模块，通过区分实际发射车辆与视觉干扰物，解决多候选困境。
• 采用多任务DNN架构，联合预测波束索引并识别正确的发射候选者。
• 应用数据增强和域泛化技术，提升在多样化真实世界场景下的鲁棒性。
• 使用top-1和top-5波束预测准确率作为评估指标，并通过功率散点图评估实际链路性能。
• 在城市V2I环境中采集的大规模真实世界数据集上验证该框架，确保其实际相关性。

实验结果

研究问题

• RQ1 在合成数据上训练的视觉辅助波束预测框架的性能，能否推广到真实世界的多候选场景？
• RQ2 在真实世界的毫米波通信中，多个视觉候选者存在时，如何影响波束预测准确率和系统可靠性？
• RQ3 深度学习模型能否在复杂动态视觉场景中有效识别出多个候选者中的正确发射车辆？
• RQ4 在多候选环境中，达到鲁棒波束预测性能所需的最小训练数据量是多少？
• RQ5 在多候选场景下，依赖top-1波束预测与真实波束相比，对接收信号功率有何影响？

主要发现

• 所提出的框架在DeepSense 6G数据集的单用户场景中实现了接近100%的top-5波束预测准确率。
• 在多候选场景中，系统保持了95%的top-5波束预测准确率，表明其在复杂视觉环境中的强大泛化能力。
• 在所有评估场景中，发射机识别准确率超过93%，显著降低了灾难性波束误预测的风险。
• 混淆矩阵显示，大多数预测结果为正确或近似最优，表明即使在误预测情况下系统仍具鲁棒性。
• 当仅依赖top-1预测时，系统性能出现显著下降，R²得分下降，原因是在约10%的情况下预测了低功率波束。
• 功率散点图显示，在某些情况下，top-1预测波束的接收功率仅为真实波束的10%–30%，凸显了轻量级波束训练作为备用方案的必要性。