[论文解读] Real-Time Activity Recognition and Intention Recognition Using a Vision-based Embedded System

Sahar Darafsh, Saeed Shiry Ghidary+1 more|arXiv (Cornell University)|Jul 27, 2021

Video Surveillance and Tracking Methods参考文献 42被引用 7

一句话总结

该论文提出了一种基于视觉的实时嵌入式系统，使用单一 AlexNet 卷积神经网络对由速度和方向特征表示的视频数据进行分类，以实现活动与意图识别，在自定义意图识别数据集上达到 98.78% 的准确率，在基准数据集上达到 78.48%–100% 的准确率，且在基于 FPGA 的 ZCU102 平台上的实时处理速度达到 120 fps。

ABSTRACT

With the rapid increase in digital technologies, most fields of study include recognition of human activity and intention recognition, which are essential in smart environments. In this study, we equipped the activity recognition system with the ability to recognize intentions by affecting the pace of movement of individuals in the representation of images. Using this technology in various environments such as elevators and automatic doors will lead to identifying those who intend to pass the automatic door from those who are passing by. This system, if applied in elevators and automatic doors, will save energy and increase efficiency. For this study, data preparation is applied to combine the spatial and temporal features with the help of digital image processing principles. Nevertheless, unlike previous studies, only one AlexNet neural network is used instead of two-stream convolutional neural networks. Our embedded system was implemented with an accuracy of 98.78% on our intention recognition dataset. We also examined our data representation approach on other datasets, including HMDB-51, KTH, and Weizmann, and obtained accuracy of 78.48%, 97.95%, and 100%, respectively. The image recognition and neural network models were simulated and implemented using Xilinx simulators for the Xilinx ZCU102 board. The operating frequency of this embedded system is 333 MHz, and it works in real-time with 120 frames per second (fps).

研究动机与目标

• 开发一种低成本、实时的嵌入式系统，用于在电梯和自动门等智能环境中识别人类意图。
• 克服现有基于视觉的系统在摄像头角度、光照和身体姿态变化方面的局限性。
• 通过使自动门和电梯能够区分意图使用者与仅路过者，提升能效。
• 设计一种视频表示方法，捕捉运动速度和方向，而无需依赖 RGB 数据或双流 CNN。
• 在 FPGA 平台上实现并验证该系统，以实现低功耗、高效率的实时部署。

提出的方法

• 提出一种新颖的视频表示方法，利用运动速度和方向特征，消除对 RGB 数据的依赖，并降低对摄像头角度的敏感性。
• 采用单一 AlexNet 卷积神经网络，而非双流 CNN，对处理后的视频特征进行活动与意图分类。
• 应用数字图像处理技术，从视频序列中提取空间与时间特征，重点关注运动动态。
• 使用 Xilinx Vivado 工具在 ZCU102 FPGA 板上对系统进行仿真与综合，实现 333 MHz 时钟频率下的实时处理。
• 优化系统以实现低功耗与高吞吐量，达到 120 fps 的处理能力。
• 在多个数据集（HMDB-51、KTH、Weizmann）上验证该方法，评估其在不同条件下的鲁棒性。

实验结果

研究问题

• RQ1 仅使用基于运动的视频表示且无 RGB 输入时，单一 CNN 是否能有效识别人类活动与意图？
• RQ2 所提出的运动特征表示方法在具有不同摄像头角度、光照条件和场景复杂度的多样化数据集上表现如何？
• RQ3 该系统在低功耗嵌入式 FPGA 硬件上能在多大程度上保持实时性能与高准确率？
• RQ4 系统能否可靠地区分意图使用自动门或电梯的个体与仅路过者？
• RQ5 与现有的双流 CNN 或手工设计特征方法相比，该系统的准确率与效率表现如何？

主要发现

• 在自定义意图识别数据集上，系统达到 98.78% 的准确率，表明其在区分意图与非意图行为方面具有高度有效性。
• 在 HMDB-51 数据集上，该方法达到 78.48% 的准确率，表明其在光照、姿态和摄像头角度变化下仍具鲁棒性。
• 在 KTH 数据集上，系统达到 97.95% 的准确率，表明其在受控、姿态规范的人类动作上表现优异。
• 在 Weizmann 数据集上，该方法实现 100% 的准确率，凸显其在识别明确、定义清晰动作方面的有效性。
• 该嵌入式系统在 ZCU102 FPGA 板上以 120 帧每秒的速度实时运行，超过标准 USB 摄像头 30 fps 的输入速率。
• 系统功耗仅为 7.326 W，热裕量达 67.8°C，证实其适用于低功耗、长期部署。