[论文解读] Depth2Action: Exploring Embedded Depth for Large-Scale Action Recognition

Yi Zhu, Shawn Newsam|arXiv (Cornell University)|Aug 15, 2016

Human Pose and Action Recognition参考文献 41被引用 19

一句话总结

该论文提出Depth2Action，一种用于大规模人体动作识别的新框架，通过直接从RGB视频估计深度线索，而非依赖深度传感器。通过采用时空深度归一化（STDN）和改进的深度运动图（MDMM），该方法有效捕捉了时间上的深度一致性与细微的运动变化，在UCF101、HMDB51和ActivityNet基准上结合外观与运动特征后，实现了最先进性能。

ABSTRACT

This paper performs the first investigation into depth for large-scale human action recognition in video where the depth cues are estimated from the videos themselves. We develop a new framework called depth2action and experiment thoroughly into how best to incorporate the depth information. We introduce spatio-temporal depth normalization (STDN) to enforce temporal consistency in our estimated depth sequences. We also propose modified depth motion maps (MDMM) to capture the subtle temporal changes in depth. These two components significantly improve the action recognition performance. We evaluate our depth2action framework on three large-scale action recognition video benchmarks. Our model achieves state-of-the-art performance when combined with appearance and motion information thus demonstrating that depth2action is indeed complementary to existing approaches.

研究动机与目标

• 探索仅从RGB视频中提取的深度信息在大规模人体动作识别中的可行性和有效性。
• 通过开发稳健的方法提取有意义的深度线索，解决单视角RGB视频中深度估计噪声的问题。
• 研究深度信息如何补充现有的基于外观和运动的方法，特别是在区分视觉相似动作方面。
• 评估在特征提取、特征融合策略和网络架构方面各种设计选择，以实现嵌入深度的最佳性能。
• 为未来在深度估计、从噪声数据中学习以及仅使用RGB输入的跨模态动作识别研究奠定基础。

提出的方法

• 使用基于图像的深度估计技术，逐帧从RGB视频中估计深度图，实现大规模数据集的可扩展性。
• 应用时空深度归一化（STDN）以在估计的深度序列中强制实现时间一致性，降低噪声并提高可靠性。
• 提出改进的深度运动图（MDMM）以捕捉深度中的细微时间变化，增强对动态深度模式的敏感性。
• 采用双流或基于C3D的网络架构，分别处理空间深度特征和时间深度动态，之后进行融合。
• 使用支持向量机（SVM）或端到端分类器，对深度、外观和运动分支的特征进行晚期融合，以进行最终预测。
• 评估多种配置，包括2D与3D卷积神经网络、早期融合与晚期融合，以及不同特征提取器，以识别最优集成策略。

实验结果

研究问题

• RQ1 仅从RGB视频中估计的深度信息是否能显著提升大规模基准上的动作识别性能？
• RQ2 如何在噪声较大的逐帧深度估计中强制实现时间一致性，以提高识别鲁棒性？
• RQ3 在序列中编码时间深度动态的最有效方式是什么，以捕捉细微的运动线索？
• RQ4 在动作识别中，嵌入的深度信息与外观和运动特征相比，其互补性如何？
• RQ5 在使用估计深度进行视频识别时，特征提取、融合和网络架构的最佳设计选择是什么？

主要发现

• 当与RGB双流或C3D模型结合时，Depth2Action在UCF101、HMDB51和ActivityNet上均实现了最先进性能，展现出强大的互补性。
• Depth2Action与RGB双流及IDT特征结合时，在UCF101上达到93.0%的准确率，超越了以往最先进结果。
• 在HMDB51上，Depth2Action与RGB双流特征融合后达到67.1%的准确率，优于单一组件和先前方法。
• 在ActivityNet上，Depth2Action与RGB C3D结合后达到71.2%的平均平均精度，显著优于基线模型。
• 仅使用Depth2Action时，在UCF101上达到72.5%的准确率，在HMDB51上达到49.7%，表明即使不进行融合，估计深度本身也具有显著性能，体现出其内在价值。
• 与IDT相比，该方法计算效率更高，显著减少存储和计算需求，更适合大规模部署。