[论文解读] TinyRadarNN: Combining Spatial and Temporal Convolutional Neural Networks for Embedded Gesture Recognition with Short Range Radars

Moritz Scherer, Michele Magno+4 more|arXiv (Cornell University)|Jun 25, 2020

Hand Gesture Recognition Systems参考文献 52被引用 8

一句话总结

本文提出 TinyRadarNN，一种轻量化、低功耗的手势识别系统，利用二维卷积神经网络（2D CNN）提取空间特征，使用时间卷积神经网络（TCN）对短距离雷达数据进行时序建模。该系统在微型控制器上实现了 92.4% 的准确率，模型大小仅 92 KB，推理功耗为 21 mW，支持电池供电可穿戴设备的实时嵌入式手势识别。

ABSTRACT

This work proposes a low-power high-accuracy embedded hand-gesture recognition algorithm targeting battery-operated wearable devices using low power short-range RADAR sensors. A 2D Convolutional Neural Network (CNN) using range frequency Doppler features is combined with a Temporal Convolutional Neural Network (TCN) for time sequence prediction. The final algorithm has a model size of only 46 thousand parameters, yielding a memory footprint of only 92 KB. Two datasets containing 11 challenging hand gestures performed by 26 different people have been recorded containing a total of 20,210 gesture instances. On the 11 hand gesture dataset, accuracies of 86.6% (26 users) and 92.4% (single user) have been achieved, which are comparable to the state-of-the-art, which achieves 87% (10 users) and 94% (single user), while using a TCN-based network that is 7500x smaller than the state-of-the-art. Furthermore, the gesture recognition classifier has been implemented on a Parallel Ultra-Low Power Processor, demonstrating that real-time prediction is feasible with only 21 mW of power consumption for the full TCN sequence prediction network, while a system-level power consumption of less than 100 mW is achieved. We provide open-source access to all the code and data collected and used in this work on tinyradar.ethz.ch.

研究动机与目标

• 开发一种基于短距离雷达传感器的低功耗、高准确率手势识别系统，适用于电池供电的可穿戴设备。
• 解决在内存和功耗受限的资源受限嵌入式平台部署复杂深度学习模型的挑战。
• 在保持高分类准确率的同时，实现在超低功耗微控制器上的实时推理，适用于多样化用户。
• 提供可扩展的开源解决方案，包含数据集与代码，以支持可复现性及嵌入式雷达人机交互的进一步研究。

提出的方法

• 从短距离雷达信号中提取距离-多普勒特征，以二维输入格式表示空间信息。
• 应用二维卷积神经网络（CNN）从距离-多普勒图中提取空间模式。
• 集成时间卷积神经网络（TCN）以建模时间帧之间的序列动态。
• 对联合 CNN-TCN 架构进行优化，实现最小模型尺寸（46,000 个参数，92 KB）和低推理能耗。
• 在 GAP8 超低功耗处理器上实现完整网络，使用 8 个核心，频率为 100 MHz，实现 21 mW 的推理功耗。
• 采用数据增强和交叉验证策略，提升在 26 名不同用户上的泛化能力。

实验结果

研究问题

• RQ1 紧凑的 CNN-TCN 架构是否能在仅 92 KB 内存内实现高准确率的雷达手势识别？
• RQ2 在相同数据集上，与最先进模型相比，所提出的 TinyRadarNN 在跨用户泛化性能如何？
• RQ3 使用雷达传感器与超低功耗微控制器，实时手势识别可实现的功耗效率如何？
• RQ4 在嵌入式平台上，基于 TCN 的时序模型在准确率和能效方面，与基于 LSTM 的模型相比，性能优劣如何？
• RQ5 仅具备极简硬件足迹的系统是否能在电池供电的可穿戴设备上实现雷达传感的实时推理？

主要发现

• TinyRadarNN 模型在单用户设置下达到 92.4% 的准确率，在 26 名用户的交叉验证中达到 86.6%，与最先进模型相当。
• 模型大小仅为 92 KB（46,000 个参数），比使用 GPU 的最先进模型小 7,500 倍。
• 完整的基于 TCN 的推理网络在 GAP8 处理器上仅消耗 21 mW 功耗，支持电池供电设备的实时运行。
• 系统级功耗降低至 115 mW（雷达传感器工作在 160 Hz 时），显著低于以往基于 GPU 的系统。
• 该实现表明，超低功耗嵌入式平台可在极低能量开销下实现实时手势识别。
• 作者发布了包含 20,210 个手势实例的大型数据集，并在 tinyradar.ethz.ch 开源代码，以支持可复现性与进一步研究。