[论文解读] Feature Sampling Strategies for Action Recognition

Youjie Zhou, Hongkai Yu+1 more|arXiv (Cornell University)|Jan 28, 2015

Human Pose and Action Recognition参考文献 10被引用 7

一句话总结

本文提出了一种基于密集轨迹的动作识别运动感知特征采样策略，利用目标提议技术（EdgeBox 和 FusionEdgeBox）选择性地采样信息丰富的特征。该方法在仅使用25%的特征时实现了最先进（SOTA）的准确率，并且在丢弃70%的特征后仍保持了具有竞争力的性能。

ABSTRACT

Although dense local spatial-temporal features with bag-of-features representation achieve state-of-the-art performance for action recognition, the huge feature number and feature size prevent current methods from scaling up to real size problems. In this work, we investigate different types of feature sampling strategies for action recognition, namely dense sampling, uniformly random sampling and selective sampling. We propose two effective selective sampling methods using object proposal techniques. Experiments conducted on a large video dataset show that we are able to achieve better average recognition accuracy using 25% less features, through one of proposed selective sampling methods, and even remain comparable accuracy while discarding 70% features.

研究动机与目标

• 为解决大规模视频动作识别中密集轨迹特征带来的计算与存储负担。
• 探究基于显著图的选择性采样是否在特征压缩方面优于随机采样或均匀采样。
• 开发基于数据驱动的采样策略，利用目标提议技术识别与运动相关区域，而无需依赖眼动追踪数据。
• 评估将目标提议与运动信息结合以提升动作识别中特征选择效果的有效性。

提出的方法

• 提出两种基于目标提议算法（EdgeBox 和一种新型运动增强变体 FusionEdgeBox）的选择性采样方法，用于生成显著图以指导特征采样。
• 从目标提议构建显著图，优先采样感兴趣区域（如移动的人）中的密集轨迹特征。
• 对采样后的特征使用主成分分析（PCA）进行降维，并通过高斯混合模型（GMM）码书学习进行Fisher向量编码，以实现紧凑表示。
• 对最终的特征向量应用线性SVM进行一对多分类，实现动作识别。
• 将运动边界直方图（MBHx, MBHy）与外观描述符（HOG, HOF）整合为每条轨迹的统一特征向量。
• 采用结合空间与运动线索的混合采样策略，以提升特征的相关性并减少冗余。

实验结果

研究问题

• RQ1 与随机采样或密集采样相比，基于目标提议的选择性采样是否能提升动作识别的准确率？
• RQ2 在目标提议生成中引入运动信息是否能提升动作识别中特征采样的质量？
• RQ3 在丢弃高达70%的特征时，通过选择性采样实现的特征压缩对识别性能有何影响？
• RQ4 无需人工标注的姿势信息，基于数据驱动的采样策略是否能优于基于真实边界框（ground-truth bounding box）的采样？

主要发现

• 基于FusionEdgeBox的选择性采样方法在J-HMDB数据集上仅使用原始特征的75%时，平均准确率达到65.91%，优于完整特征集（62.88%），且内存使用更少。
• 即使丢弃70%的特征，FusionEdgeBox方法在DT特征上的准确率仍保持在60.71%，优于随机采样（59.90%）和EdgeBox（58.51%）在相同丢弃率下的表现。
• 对于iDT特征，由于iDT本身具有噪声抑制特性，在低采样率下随机采样略优于选择性采样方法，但选择性采样仍实现了显著的特征压缩并保持了相当的性能。
• 使用真实边界框（GT）进行采样在DT特征上获得的准确率高于完整特征集，证实了以人为核心特征更具判别性。
• 在DT特征评估中，FusionEdgeBox方法超越了基于GT的采样，表明运动感知的目标提议可有效识别感兴趣区域，而无需人工标注。
• 该方法在仅使用基线方法20–25%的特征时即实现了最先进性能，包括使用高级编码（如堆叠Fisher向量）的方法。