[论文解读] Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition

Congqi Cao, Yifan Zhang+2 more|arXiv (Cornell University)|Apr 24, 2017

Human Pose and Action Recognition参考文献 34被引用 6

一句话总结

本文提出体感关节引导的3D深度卷积描述符（JDDs），利用人体关节点位置对3D卷积特征图的激活进行选择性池化，形成具有判别性的视频级描述符。此外，本文进一步提出一种端到端的双流双线性C3D模型，联合学习关节引导池化与时空特征，在UCF101和Kinetics数据集上实现了最先进性能，且无需依赖精确的骨骼标注。

ABSTRACT

Three dimensional convolutional neural networks (3D CNNs) have been established as a powerful tool to simultaneously learn features from both spatial and temporal dimensions, which is suitable to be applied to video-based action recognition. In this work, we propose not to directly use the activations of fully-connected layers of a 3D CNN as the video feature, but to use selective convolutional layer activations to form a discriminative descriptor for video. It pools the feature on the convolutional layers under the guidance of body joint positions. Two schemes of mapping body joints into convolutional feature maps for pooling are discussed. The body joint positions can be obtained from any off-the-shelf skeleton estimation algorithm. The helpfulness of the body joint guided feature pooling with inaccurate skeleton estimation is systematically evaluated. To make it end-to-end and do not rely on any sophisticated body joint detection algorithm, we further propose a two-stream bilinear model which can learn the guidance from the body joints and capture the spatio-temporal features simultaneously. In this model, the body joint guided feature pooling is conveniently formulated as a bilinear product operation. Experimental results on three real-world datasets demonstrate the effectiveness of body joint guided pooling which achieves promising performance.

研究动机与目标

• 通过利用体感关节位置引导3D CNN中的特征池化，而非依赖全连接层特征，以提升视频动作识别性能。
• 解决手工设计的骨骼特征的局限性，后者对检测误差敏感，且在相似动作（如“抓取”与“放置”）上表现困难。
• 开发一种可端到端训练的模型，统一关节检测与特征池化，降低对外部骨骼估计的依赖。
• 评估在骨骼估计不准确情况下的关节引导池化的鲁棒性，验证其在真实场景中的实用性。
• 仅使用RGB视频输入，在标准动作识别基准上实现最先进性能。

提出的方法

• 该方法在对应于体感关节位置的空间位置上池化3D卷积特征图的激活，形成关节池化描述符（JDD）。
• 提出了两种将体感关节映射到特征图的方法：最近邻采样和双线性插值。
• 双流双线性C3D模型在注意力流中将ReLU替换为Sigmoid，以预测关节引导池化权重，实现端到端训练。
• 池化操作被表述为关节点位置与特征图之间的双线性乘积，实现可微分的特征聚合。
• 模型使用特征流（C3D）进行时空特征提取，同时通过注意力流实现关节引导池化，两者联合训练。
• 通过融合来自不同卷积层（如conv4b和conv5b）的JDDs，增强判别能力。

实验结果

研究问题

• RQ1 与标准全连接层特征相比，体感关节引导的3D CNN特征池化是否能提升动作识别性能？
• RQ2 所提方法在骨骼估计不准确时是否仍具鲁棒性，且能否持续优于现有方法？
• RQ3 关节引导池化操作能否在不依赖预计算关节点的情况下，集成到端到端可训练的深度学习框架中？
• RQ4 融合来自多个卷积层的JDDs是否能进一步提升识别准确率？
• RQ5 双流双线性C3D模型能否仅使用RGB输入就在标准基准上实现最先进性能？

主要发现

• 双流双线性C3D模型在UCF101上达到84.7%的准确率（无需微调），优于所有对比的基于RGB的模型。
• 在使用真实体感关节点时，来自conv4b和conv5b的多层JDD融合在Kinetics上达到98.1%的准确率，为本文报告的最高结果。
• 即使在骨骼估计不准确的情况下，体感关节引导池化方法仍保持强劲性能，展现出良好的鲁棒性。
• 当使用高级聚合方法时，双流双线性C3D模型在Kinetics上达到95.3%的准确率，验证了双线性公式化的有效性。
• 所提方法优于C3D fc6特征及其他最先进模型（包括使用光流和密集轨迹的方法）。
• 消融实验确认，关节引导池化捕捉到的时空模式比全局平均池化或fc6特征更具判别性。