[论文解读] mmPose-NLP: A Natural Language Processing Approach to Precise Skeletal Pose Estimation using mmWave Radars

Arindam Sengupta, Siyang Cao|arXiv (Cornell University)|Jul 21, 2021

Hand Gesture Recognition Systems参考文献 33被引用 8

一句话总结

该论文提出 mmPose-NLP，一种受自然语言处理启发的新型序列到序列深度学习模型，用于从毫米波雷达点云中估计 25 个 3D 骨骼关键点。通过将雷达数据体素化并采用注意力增强的 GRU 架构，该模型在深度、水平和垂直方向上均实现了亚 3 cm 的定位精度，标志着首次仅使用毫米波雷达即达到如此高的精度。

ABSTRACT

In this paper we presented mmPose-NLP, a novel Natural Language Processing (NLP) inspired Sequence-to-Sequence (Seq2Seq) skeletal key-point estimator using millimeter-wave (mmWave) radar data. To the best of the author's knowledge, this is the first method to precisely estimate upto 25 skeletal key-points using mmWave radar data alone. Skeletal pose estimation is critical in several applications ranging from autonomous vehicles, traffic monitoring, patient monitoring, gait analysis, to defense security forensics, and aid both preventative and actionable decision making. The use of mmWave radars for this task, over traditionally employed optical sensors, provide several advantages, primarily its operational robustness to scene lighting and adverse weather conditions, where optical sensor performance degrade significantly. The mmWave radar point-cloud (PCL) data is first voxelized (analogous to tokenization in NLP) and $N$ frames of the voxelized radar data (analogous to a text paragraph in NLP) is subjected to the proposed mmPose-NLP architecture, where the voxel indices of the 25 skeletal key-points (analogous to keyword extraction in NLP) are predicted. The voxel indices are converted back to real world 3-D coordinates using the voxel dictionary used during the tokenization process. Mean Absolute Error (MAE) metrics were used to measure the accuracy of the proposed system against the ground truth, with the proposed mmPose-NLP offering <3 cm localization errors in the depth, horizontal and vertical axes. The effect of the number of input frames vs performance/accuracy was also studied for N = {1,2,..,10}. A comprehensive methodology, results, discussions and limitations are presented in this paper. All the source codes and results are made available on GitHub for furthering research and development in this critical yet emerging domain of skeletal key-point estimation using mmWave radars.

研究动机与目标

• 开发一种鲁棒且保护隐私的 3D 骨骼关键点估计方法，利用毫米波雷达克服光学传感器在低光照、恶劣天气及隐私敏感环境下的局限性。
• 实现精确、非侵入式的人体运动分析，适用于步态分析、患者监测和自主系统等应用。
• 探索将受 NLP 启发的序列到序列建模应用于基于雷达的人体姿态估计的可行性，将体素化雷达帧视为‘句子’，关键点视为‘关键词’。
• 通过改变输入雷达帧的数量（N=1 到 10）来评估时间上下文对姿态估计精度的影响。
• 建立公开可用的代码库和数据集，以加速基于毫米波雷达的人体姿态估计研究。

提出的方法

• 将两部 AWR 1843 毫米波雷达采集的雷达点云数据体素化为离散的 3D 网格，类似于 NLP 中的分词处理。
• 将连续的 N 帧体素化雷达数据输入到使用 GRU 层构建的编码器-解码器架构的序列到序列（Seq2Seq）模型中。
• 在解码器中应用注意力机制，以在关键点预测过程中聚焦于相关空间区域，从而提高定位精度。
• 模型预测 25 个骨骼关键点的体素索引，随后通过预先计算的体素字典将其映射回真实世界中的 3D 坐标。
• 使用 ROS 收集的自定义数据集进行训练和评估，真实值由 MATLAB 中的 Kinect 骨骼追踪器提供。
• 通过所有关键点在 3D 空间中的平均绝对误差（MAE）以及不同输入帧数（N=1 到 10）下的表现来评估模型性能。

实验结果

研究问题

• RQ1 受 NLP 启发的 Seq2Seq 模型是否能有效从毫米波雷达点云中学习预测 25 个 3D 骨骼关键点？
• RQ2 输入雷达帧数量（N）如何影响骨骼关键点估计的精度？
• RQ3 解码器中的注意力机制是否能通过聚焦于雷达数据中的显著身体部位来提升定位精度？
• RQ4 所提出的方法是否在深度、水平和垂直方向上均实现了低于 3 cm 的定位误差，优于以往基于雷达的姿态估计技术？
• RQ5 该模型在雷达配置和数据分辨率变化下具有多大程度的鲁棒性？其泛化能力是否超越本研究中使用的特定实验设置？

主要发现

• 所提出的 mmPose-NLP 模型在所有三个空间维度（深度、水平、垂直）上对 25 个骨骼关键点的平均绝对误差（MAE）均低于 3 cm。
• 随着输入帧数的增加，模型性能在 N=8 时达到最低 MAE，性能最佳；在 N=10 时性能略有下降。
• 在去除异常值后的 17 个关键点上，关节级 MAE 均稳定低于 3 cm，证实了高精度的定位能力。
• 解码器中的注意力机制通过聚焦于雷达点云中的相关身体区域，有助于提升关键点定位精度。
• 该研究证实了将受 NLP 启发的时间序列建模应用于基于雷达的人体姿态估计的可行性，实现了精确且保护隐私的运动追踪。
• 研究结果表明，来自多个连续雷达帧的时间上下文显著提升了姿态估计的精度。