[论文解读] DeepSense 6G: A Large-Scale Real-World Multi-Modal Sensing and Communication Dataset

Ahmed Alkhateeb, Gouranga Charan+5 more|arXiv (Cornell University)|Nov 17, 2022

Indoor and Outdoor Localization Technologies被引用 5

一句话总结

本论文介绍了DeepSense 6G，这是一个大规模真实世界数据集，包含超过100万组在40多个多样化场景（包括V2X、室内、无人机和RIS辅助部署）中同步、共存的多模态感知与通信测量数据。该数据集支持在集成感知、通信与定位领域开展先进的深度学习研究，通过利用视觉和位置数据进行毫米波波束选择，已实现跨场景波束预测泛化性能的显著提升（top-3准确率达70%）。

ABSTRACT

This article presents the DeepSense 6G dataset, which is a large-scale dataset based on real-world measurements of co-existing multi-modal sensing and communication data. The DeepSense 6G dataset is built to advance deep learning research in a wide range of applications in the intersection of multi-modal sensing, communication, and positioning. This article provides a detailed overview of the DeepSense dataset structure, adopted testbeds, data collection and processing methodology, deployment scenarios, and example applications, with the objective of facilitating the adoption and reproducibility of multi-modal sensing and communication datasets.

研究动机与目标

• 为解决6G系统中多模态感知与通信研究缺乏大规模真实世界数据集的问题。
• 通过提供同步的真实世界数据，支持可复现且可基准化的集成感知与通信（ISAC）深度学习研究。
• 支持在V2I、V2V、行人、无人机及RIS辅助通信等多样化部署场景中的泛化性研究。
• 促进基于真实世界数据的机器学习模型开发，应用于波束预测、遮挡检测和毫米波定位等任务。
• 提供可扩展、模块化的测试平台框架，支持数据集在新场景和新模态下的持续扩展。

提出的方法

• 使用模块化测试平台，包含两个单元：固定基站（单元1）和移动用户（单元2），实现同步数据采集。
• 多模态数据包括毫米波/6G无线信号、摄像头视觉数据、LiDAR点云、GPS位置信息以及环境传感器数据。
• 数据以小于10ms的采样间隔采集，并按每个采样周期将所有传感器的数据统一存储为同步数据组。
• 统一的数据结构支持跨场景数据组合，适用于迁移学习与泛化性研究。
• 通过整合多个场景的数据构建特定任务的开发数据集，支持机器学习模型的基准测试。
• 基于YOLOv3的物体检测模型从视觉数据中提取边界框坐标，并与位置数据融合，用于训练两层前馈神经网络以实现波束索引预测。

实验结果

研究问题

• RQ1 在集成感知与通信系统中，基于一个真实场景训练的机器学习模型能否泛化到未见过的部署场景？
• RQ2 多模态数据（视觉、GPS、LiDAR）在提升毫米波通信波束预测准确性方面有多有效？
• RQ3 与合成数据集相比，真实世界数据在多大程度上能提升深度学习模型的鲁棒性？
• RQ4 环境间分布偏移（如一天中不同时段、光照条件、地理位置）对基于机器学习的波束选择模型性能有何影响？
• RQ5 当在某一场景训练、在另一无共享数据的场景测试时，跨场景波束预测的性能如何？

主要发现

• DeepSense 6G数据集包含超过100万组同步数据点，覆盖40多个真实世界部署场景，包括V2I、V2V、行人、无人机及RIS系统。
• 在场景1数据上训练的波束预测模型，在场景5数据上测试时，top-3准确率超过70%，证明了强大的跨场景泛化能力。
• 即使预测的波束索引不正确，模型的预测结果也经常接近最优波束，表明尽管存在误差，仍具有很高的实际应用价值。
• 利用YOLOv3进行物体检测并融合位置数据，实现了有效的波束索引预测，凸显了多模态输入的价值。
• 由于其可扩展且统一的结构，该数据集支持迁移学习与鲁棒性分析，可实现多样化场景间的数据组合。
• 该数据集已成功用于支持波束预测、遮挡检测及ISAC波形设计的深度学习研究，验证了其研究实用性。