[论文解读] Deep Learning on Multimodal Sensor Data at the Wireless Edge for Vehicular Network

Batool Salehi, Guillem Reus-Muns+6 more|arXiv (Cornell University)|Jan 12, 2022

Millimeter-Wave Propagation and Modeling被引用 4

一句话总结

本文提出了一种基于深度学习的毫米波车辆网络波束选择框架，利用无线边缘的多模态传感器数据（LiDAR、摄像头、GPS）加速波束扫描。通过使用融合的边缘部署模型预测前K个波束对，该系统相比仅使用射频（RF）的方法将波束选择速度提升了95%–96%，并在前10名波束对准确率上优于最先进技术20%–22%。

ABSTRACT

Beam selection for millimeter-wave links in a vehicular scenario is a challenging problem, as an exhaustive search among all candidate beam pairs cannot be assuredly completed within short contact times. We solve this problem via a novel expediting beam selection by leveraging multimodal data collected from sensors like LiDAR, camera images, and GPS. We propose individual modality and distributed fusion-based deep learning (F-DL) architectures that can execute locally as well as at a mobile edge computing center (MEC), with a study on associated tradeoffs. We also formulate and solve an optimization problem that considers practical beam-searching, MEC processing and sensor-to-MEC data delivery latency overheads for determining the output dimensions of the above F-DL architectures. Results from extensive evaluations conducted on publicly available synthetic and home-grown real-world datasets reveal 95% and 96% improvement in beam selection speed over classical RF-only beam sweeping, respectively. F-DL also outperforms the state-of-the-art techniques by 20-22% in predicting top-10 best beam pairs.

研究动机与目标

• 解决由于在短暂车辆会话时间内进行全范围射频波束扫描而导致的毫米波车辆通信中波束选择延迟过高的挑战。
• 利用非射频多模态传感器数据（LiDAR、摄像头、GPS）预测可能的最优波束对，以缩小搜索空间。
• 设计适用于本地和移动边缘计算（MEC）部署的分布式深度学习架构，以平衡延迟、准确率和通信开销。
• 通过综合考虑波束搜索、MEC处理和传感器到MEC数据传输延迟，优化基于融合的深度学习模型的输出维度。
• 利用真实世界和合成数据集，提升波束选择性能，超越经典仅使用射频的扫描方法和最先进方法。

提出的方法

• 收集并预处理多模态传感器数据：使用LiDAR进行三维环境重建，使用全卷积神经网络进行摄像头图像的目标检测，使用GPS进行车辆定位。
• 使用训练好的分类器结合滑动窗口方法，生成摄像头图像的位图表示，实现单次前向传播推理，从而实现低延迟处理。
• 应用目标类型过滤：将目标车辆类型（来自安全消息）映射为合法接收方，其余目标映射为障碍物，从而精炼波束候选位置。
• 设计独立模态和基于分布式融合的深度学习（F-DL）架构，可在车辆本地或MEC中心执行。
• 制定并求解一个优化问题，以确定F-DL模型的最优输出维度，最小化从传感器数据传输到波束选择的总延迟。
• 使用融合流水线整合GPS、摄像头和LiDAR数据，将波束选择限制在前K个候选波束对，从而缩小搜索空间并加速收敛。

实验结果

研究问题

• RQ1 多模态传感器数据（LiDAR、摄像头、GPS）能否有效用于降低毫米波车辆网络中的波束选择延迟？
• RQ2 F-DL模型在波束选择速度和准确率方面与经典仅使用射频的波束扫描相比表现如何？
• RQ3 在分布式波束选择架构中，模型复杂度、边缘处理延迟和通信开销之间的最优权衡是什么？
• RQ4 与最先进方法相比，基于融合的深度学习模型在前10名波束对预测准确率方面提升了多少？
• RQ5 所提出的输出维度选择优化框架对端到端波束选择延迟和吞吐量有何影响？

主要发现

• 所提出的F-DL框架在合成数据集和真实世界数据集上，分别相比经典仅使用射频的波束扫描，实现了95%和96%的波束选择速度提升。
• F-DL在前10名波束对预测准确率上相比最先进技术提升了20%–22%，该结果基于前K名准确率指标进行评估。
• 经过优化的F-DL模型通过联合最小化波束搜索、MEC处理和传感器到MEC数据传输开销，显著降低了总波束选择延迟。
• 基于全卷积神经网络的位图生成方法支持单次前向传播推理，通过消除多次前向传播，显著降低了图像预处理延迟。
• 集成GPS、摄像头和LiDAR数据的融合流水线显著提升了波束选择准确率，能够精确定位目标接收方和障碍物。
• 吞吐量比评估显示，所提方法保持了较高的频谱效率，$ R_T $ 值接近1，表明尽管搜索空间减小，性能损失极小。