[论文解读] mmFall: Fall Detection using 4D MmWave Radar and a Hybrid Variational RNN AutoEncoder

Feng Jin, Arindam Sengupta+1 more|arXiv (Cornell University)|Mar 5, 2020

Indoor and Outdoor Localization Technologies参考文献 54被引用 4

一句话总结

该论文提出 mmFall，一种利用 4D 毫米波雷达和混合变分 RNN 自编码器（HVRAE）的隐私保护跌倒检测系统，通过分析运动异常水平和质心高度下降来检测跌倒。该方法在仅 50 次跌倒中实现了 98% 的检测准确率，且仅有 2 次误报，通过仅使用正常活动的半监督训练，克服了跌倒数据稀缺的问题。

ABSTRACT

In this paper we propose mmFall - a novel fall detection system, which comprises of (i) the emerging millimeter-wave (mmWave) radar sensor to collect the human body's point cloud along with the body centroid, and (ii) a variational recurrent autoencoder (VRAE) to compute the anomaly level of the body motion based on the acquired point cloud. A fall is claimed to have occurred when the spike in anomaly level and the drop in centroid height occur simultaneously. The mmWave radar sensor provides several advantages, such as privacycompliance and high-sensitivity to motion, over the traditional sensing modalities. However, (i) randomness in radar point cloud data and (ii) difficulties in fall collection/labeling in the traditional supervised fall detection approaches are the two main challenges. To overcome the randomness in radar data, the proposed VRAE uses variational inference, a probabilistic approach rather than the traditional deterministic approach, to infer the posterior probability of the body's latent motion state at each frame, followed by a recurrent neural network (RNN) to learn the temporal features of the motion over multiple frames. Moreover, to circumvent the difficulties in fall data collection/labeling, the VRAE is built upon an autoencoder architecture in a semi-supervised approach, and trained on only normal activities of daily living (ADL) such that in the inference stage the VRAE will generate a spike in the anomaly level once an abnormal motion, such as fall, occurs. During the experiment, we implemented the VRAE along with two other baselines, and tested on the dataset collected in an apartment. The receiver operating characteristic (ROC) curve indicates that our proposed model outperforms the other two baselines, and achieves 98% detection out of 50 falls at the expense of just 2 false alarms.

研究动机与目标

• 解决老龄化人群中对高效、符合隐私要求的跌倒检测的迫切需求。
• 通过半监督方法克服真实世界中跌倒数据收集有限的挑战。
• 开发一种鲁棒的异常检测系统，可在训练过程中无需标注跌倒样本的情况下识别跌倒。
• 整合毫米波雷达的高运动敏感性与时间建模能力，以检测跌倒的突发性变化。
• 通过最小化误报并保持在不同体型和动作下的性能，确保系统的实际部署可行性。

提出的方法

• 利用 4D 毫米波雷达传感器实时捕获人体运动的动态点云（三维位置 + 多普勒速度）。
• 在变分自编码器中应用变分推断，从雷达点云中建模潜在运动状态的后验分布。
• 集成循环神经网络（RNN）以捕捉连续雷达帧之间的时间依赖性，用于运动模式分析。
• 设计一种混合架构，结合变分自编码与基于 RNN 的序列建模，以计算每帧的异常得分。
• 应用自定义损失函数和数据过采样技术，以在有限的正常活动数据上稳定训练。
• 将跌倒检测为异常水平的同步峰值与身体质心高度的下降，实现实时报警。

实验结果

研究问题

• RQ1 仅在正常活动上训练的半监督异常检测模型，能否在无需标注跌倒数据的情况下检测跌倒？
• RQ2 混合变分 RNN 自编码器在从毫米波雷达点云中建模复杂人体运动模式方面效果如何？
• RQ3 在保护隐私的前提下，毫米波雷达在跌倒检测中相较于传统视觉传感器的性能优势有多大？
• RQ4 变分推断与 RNN 的结合能否提升对雷达数据中噪声和随机性的检测鲁棒性？
• RQ5 在使用雷达与深度学习进行真实世界跌倒检测时，检测灵敏度与误报率之间的权衡如何？

主要发现

• 所提出的 HVRAE 模型在住宅环境中 50 次真实跌倒中实现了 98% 的跌倒检测率，且仅有 2 次误报。
• 系统对运动变化高度敏感，通过异常水平的峰值与质心高度的同步下降检测到跌倒。
• 仅基于正常活动的半监督训练即可有效检测异常事件（如跌倒），从而消除了对昂贵且存在伦理挑战的跌倒数据收集的需求。
• 使用变分推断使得在毫米波雷达点云固有的随机性下，仍能稳健估计潜在运动状态。
• 自定义的数据过采样方法保持了原始数据集的统计特性，确保模型训练稳定且无分布偏移。
• ROC 曲线分析证实，mmFall 在检测率和误报控制方面均优于两种基线模型。