[论文解读] 3DFCNN: Real-Time Action Recognition using 3D Deep Neural Networks with Raw Depth Information

A. Sánchez-Caballero, Sergio de López-Diz+5 more|arXiv (Cornell University)|Jun 13, 2020

Human Pose and Action Recognition被引用 8

一句话总结

该论文提出3DFCNN，一种实时3D全卷积神经网络，通过RGB-D相机的原始深度序列实现端到端的人体动作识别，相较于现有深度学习方法，在显著更低的计算成本下实现了最先进（SOTA）的准确率，同时通过仅使用深度数据保护用户隐私。

ABSTRACT

Human actions recognition is a fundamental task in artificial vision, that has earned a great importance in recent years due to its multiple applications in different areas. %, such as the study of human behavior, security or video surveillance. In this context, this paper describes an approach for real-time human action recognition from raw depth image-sequences, provided by an RGB-D camera. The proposal is based on a 3D fully convolutional neural network, named 3DFCNN, which automatically encodes spatio-temporal patterns from depth sequences without %any costly pre-processing. Furthermore, the described 3D-CNN allows %automatic features extraction and actions classification from the spatial and temporal encoded information of depth sequences. The use of depth data ensures that action recognition is carried out protecting people's privacy% allows recognizing the actions carried out by people, protecting their privacy%\sout{of them} , since their identities can not be recognized from these data. %\st{ from depth images.} 3DFCNN has been evaluated and its results compared to those from other state-of-the-art methods within three widely used %large-scale NTU RGB+D datasets, with different characteristics (resolution, sensor type, number of views, camera location, etc.). The obtained results allows validating the proposal, concluding that it outperforms several state-of-the-art approaches based on classical computer vision techniques. Furthermore, it achieves action recognition accuracy comparable to deep learning based state-of-the-art methods with a lower computational cost, which allows its use in real-time applications.

研究动机与目标

• 通过使用深度数据而非RGB数据，解决在隐私敏感应用中实时人体动作识别的挑战。
• 开发一种深度学习模型，能够自动从原始深度序列中提取时空特征，而无需昂贵的预处理。
• 在保持低计算开销以实现实时部署的同时，实现与最先进深度学习方法相当的高识别准确率。
• 在不同数据集（包括不同相机视角、分辨率和传感器类型）上保持鲁棒性，尤其在多视角场景下表现优异。
• 证明仅使用深度输入即可实现隐私保护的动作识别，且在标准基准测试上不损失性能。

提出的方法

• 设计一种3D全卷积神经网络（3DFCNN），端到端处理原始深度视频片段，无需手工特征工程。
• 使用3D卷积和池化层，从深度序列中联合学习空间和时间模式，捕捉动态人体运动。
• 应用先进的训练技术，包括学习率范围测试、循环学习率调度以及自定义数据增强策略，以提升模型泛化能力。
• 对网络架构进行优化，实现实时推理，即使使用3D卷积，也能在标准硬件上高效运行。
• 在NTU RGB+D数据集上训练和评估模型，并在NWUCLA和UWA3DII数据集上进行额外验证，以评估多视角鲁棒性。
• 在最后阶段使用Softmax层，直接从学习到的时空特征中分类动作。

实验结果

研究问题

• RQ1 3D全卷积神经网络是否能仅使用原始深度序列（无需预处理）实现高动作识别准确率？
• RQ2 在标准数据集上，所提出的3DFCNN模型在准确率和计算效率方面与传统计算机视觉方法及其他深度学习方法相比如何？
• RQ3 3DFCNN模型在多视角动作识别设置下，对不同相机视角和传感器配置的泛化能力如何？
• RQ4 仅使用深度输入是否能在保持高识别性能的同时确保用户隐私，尤其与基于RGB的方法相比？
• RQ5 哪些训练策略和网络架构选择使得在大规模深度动作数据集上实现实时推理并保持高准确率？

主要发现

• 在NTU RGB+D数据集上，3DFCNN在最具挑战性的测试集（V1+V2）上实现了88.3%的动作识别准确率，优于传统方法，并与最先进深度学习模型持平。
• 在多视角UWA3DII数据集上，3DFCNN实现了66.6%的平均准确率，显著优于传统方法如CCD（11.2%）和HON4D（28.9%），并接近MVDI（68.1%）的性能，但计算成本显著更低。
• 在NWUCLA多视角数据集上，3DFCNN实现了83.6%的准确率，优于HOPC（80.0%）和MVDI（84.2%），表明其在不同相机视角下具有强大的鲁棒性。
• 该模型在NTU RGB+D数据集上实现了最先进准确率，同时保持轻量化架构，支持实时推理，这是相较于更重的深度学习模型的关键优势。
• 尽管准确率较高，该模型在细粒度动作区分方面仍存在困难，例如在'书写'和'阅读'之间，表明未来工作仍有改进空间。
• 采用循环学习率和学习率范围测试显著提升了训练稳定性和最终性能，对模型强泛化能力有重要贡献。