[论文解读] MiliPoint: A Point Cloud Dataset for mmWave Radar

Han Cui, Zhong Shu+4 more|arXiv (Cornell University)|Sep 23, 2023

Remote Sensing and LiDAR Applications被引用 4

一句话总结

MiliPoint 引入了一个大规模、开源的毫米波雷达点云数据集，包含 545,000 帧和 49 种多样的人类动作，支持对深度学习模型在三个关键任务上的基准测试：动作分类、身份识别和关键点估计。该数据集是迄今为止最大且动作多样性最高的数据集，支持基于点的深度神经网络（如 DGCNN、PointNet++ 和 PointTransformer）的标准化评估，其中动作分类被识别为最具挑战性的任务。

ABSTRACT

Millimetre-wave (mmWave) radar has emerged as an attractive and cost-effective alternative for human activity sensing compared to traditional camera-based systems. mmWave radars are also non-intrusive, providing better protection for user privacy. However, as a Radio Frequency (RF) based technology, mmWave radars rely on capturing reflected signals from objects, making them more prone to noise compared to cameras. This raises an intriguing question for the deep learning community: Can we develop more effective point set-based deep learning methods for such attractive sensors? To answer this question, our work, termed MiliPoint, delves into this idea by providing a large-scale, open dataset for the community to explore how mmWave radars can be utilised for human activity recognition. Moreover, MiliPoint stands out as it is larger in size than existing datasets, has more diverse human actions represented, and encompasses all three key tasks in human activity recognition. We have also established a range of point-based deep neural networks such as DGCNN, PointNet++ and PointTransformer, on MiliPoint, which can serve to set the ground baseline for further development.

研究动机与目标

• 为解决毫米波雷达人体活动识别领域缺乏标准化、大规模数据集的问题。
• 通过提供统一的基准测试框架，实现不同深度学习模型之间的公平比较。
• 支持基于点集的深度学习研究，适用于噪声较大、基于射频的雷达数据。
• 涵盖人体活动识别中的三项核心任务：身份识别、动作分类和关键点估计。
• 为最先进的基于点的深度神经网络在毫米波雷达数据上的表现建立基线性能。

提出的方法

• 数据集通过一台 77GHz MIMO 毫米波雷达采集，该雷达配备三个发射器和四个接收器。
• 原始中频（IF）信号通过距离-Doppler 和波束成形 FFT 处理，生成表示人体运动的三维点云。
• 点云中的每个点编码了距离、Doppler 速度和方位角信息，形成人体运动的三维空间表示。
• 在受控的室内环境下，受试者执行了 49 种不同的动作，确保了数据采集的一致性。
• 每帧数据均包含身份、动作类别和 3D 关键点位置的标注。
• 建立了标准化的数据划分和评估协议，以支持深度学习模型的可复现基准测试。

Figure 1: An illustration of how a typical mmWave Radar work. The radar has several transmitters (TX) and Receivers (RX) for transmitting and collecting the reflected signals. These signals are then mixed and filtered to form an Intermediate Frequency (IF) signal. Subsequent to this, three Fast Four

实验结果

研究问题

• RQ1 基于点的深度学习模型能否有效从毫米波雷达点云中识别人体动作？
• RQ2 模型在三项核心任务（身份识别、动作分类和关键点估计）上的性能表现有何差异？
• RQ3 与身份识别和关键点估计相比，动作分类在毫米波雷达数据上的相对难度如何？
• RQ4 数据集规模和动作多样性如何影响雷达人体活动识别中深度学习模型的泛化能力和鲁棒性？
• RQ5 现有基于点的深度神经网络（如 DGCNN、PointNet++ 和 PointTransformer）在毫米波雷达点云上的泛化能力如何？

主要发现

• MiliPoint 是迄今为止最大的毫米波雷达数据集，包含 545,000 帧——比第二大数据集大 3.26 倍。
• 该数据集包含 49 种不同的动作，相比现有最多样化动作的数据集，动作多样性提升了 4.08 倍。
• 在评估的三项任务中，动作分类表现最为困难，表明区分细微运动模式更具挑战性。
• 基于点的深度神经网络（如 DGCNN、PointNet++ 和 PointTransformer）在 MiliPoint 上取得了可测量的性能表现，为未来研究建立了基线。
• 该数据集支持跨模型和任务的标准化评估，减少了以往毫米波雷达研究中因硬件、数据采集方式和任务定义不同而造成的不一致性。
• 本研究凸显了毫米波雷达作为摄像头系统在人体活动感知中的一种隐私保护、成本效益高的替代方案的潜力。

(a) Front view