[论文解读] Action Recognition for Depth Video using Multi-view Dynamic Images

Yang Xiao, Jun Chen+4 more|arXiv (Cornell University)|Jun 29, 2018

Human Pose and Action Recognition参考文献 56被引用 6

一句话总结

本文提出一种新颖的基于多视角动态图像的深度视频动作识别方法，通过从多个虚拟视角投影深度视频以增强3D运动表征，再生成紧凑的动态图像。该方法通过采用共享卷积层卷积神经网络（CNN）与视角特定分类器，并引入动作提议模块，提升了模型鲁棒性并缓解梯度消失问题，在三个基准数据集上实现了最先进性能。

ABSTRACT

Dynamic imaging is a recently proposed action description paradigm for simultaneously capturing motion and temporal evolution information, particularly in the context of deep convolutional neural networks (CNNs). Compared with optical flow for motion characterization, dynamic imaging exhibits superior efficiency and compactness. Inspired by the success of dynamic imaging in RGB video, this study extends it to the depth domain. To better exploit three-dimensional (3D) characteristics, multi-view dynamic images are proposed. In particular, the raw depth video is densely projected with respect to different virtual imaging viewpoints by rotating the virtual camera within the 3D space. Subsequently, dynamic images are extracted from the obtained multi-view depth videos and multi-view dynamic images are thus constructed from these images. Accordingly, more view-tolerant visual cues can be involved. A novel CNN model is then proposed to perform feature learning on multi-view dynamic images. Particularly, the dynamic images from different views share the same convolutional layers but correspond to different fully connected layers. This is aimed at enhancing the tuning effectiveness on shallow convolutional layers by alleviating the gradient vanishing problem. Moreover, as the spatial occurrence variation of the actions may impair the CNN, an action proposal approach is also put forth. In experiments, the proposed approach can achieve state-of-the-art performance on three challenging datasets.

研究动机与目标

• 解决在高类内差异与视角变化下基于深度的动作识别性能受限的挑战。
• 通过提出更高效、更紧凑的运动表征方式，克服光流与场景流在深度视频中的局限性。
• 利用深度数据的3D结构特性，通过多视角投影提取更丰富的运动线索。
• 通过设计视角特定的全连接层结构，提升小规模深度动作数据集上深度CNN训练的稳定性和特征学习能力。
• 通过引入时空动作提议机制，提升对空间变化和场景敏感性的鲁棒性。

提出的方法

• 通过在三维空间中旋转相机，将原始深度视频序列密集地投影到多个虚拟摄像机视角，以捕获多视角深度数据。
• 利用时间秩池化从每个视角的深度视频中提取动态图像，将视频片段转换为保留运动与时间演化的单张静态图像。
• 通过聚合所有虚拟视角的动态图像，构建多视角动态图像，以丰富3D运动表征。
• 设计一种新型CNN模型，其中共享卷积层处理所有视角的特征，而每个视角组拥有独立的全连接层，以减少梯度消失并改善浅层网络的调优。
• 引入一种时空动作提议方法，用于定位动作片段，降低输入中空间变化的敏感性。
• 在小规模深度动作数据集上，使用SVM分类器替代softmax，以避免端到端CNN训练中的过拟合。

实验结果

研究问题

• RQ1 多视角动态图像是否能有效捕捉单视角动态图像之外的深度视频3D运动特征？
• RQ2 所提出的具有视角特定全连接层的CNN架构，在小规模深度动作数据集设置下，如何提升训练稳定性和性能？
• RQ3 时空动作提议机制在多大程度上增强了对空间变化的鲁棒性并提升了识别准确率？
• RQ4 为何在标注样本有限的深度动作数据背景下，SVM优于softmax？其对整体性能有何影响？
• RQ5 尽管计算成本较高，该方法是否仍能在标准深度动作识别基准上实现最先进性能？

主要发现

• 所提方法在三个具有挑战性的深度动作识别数据集（NTU RGB-D、Northwestern-UCLA 和 UWA3D II）上实现了最先进性能。
• 在NTU RGB-D数据集上，该方法达到73.7%的top-1准确率和87.3%的top-5准确率，优于现有方法。
• SVM分类器在所有数据集上均显著优于softmax分类器，性能提升至少11.1%，证明其在低数据场景下的有效性。
• 多视角动态图像表征相比单视角动态图像能捕捉更丰富的3D运动线索，提升判别能力。
• 所提出的CNN架构通过按视角组解耦全连接层，有效缓解了浅层网络中的梯度消失问题。
• 整体在线推理时间平均约为每视频51.02秒，其中多视角投影是耗时最长的组件（34.5秒）。