[论文解读] Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition

Zhenzhong Lan, Alexander G. Hauptmann|arXiv (Cornell University)|Oct 15, 2015

Human Pose and Action Recognition参考文献 24被引用 5

一句话总结

本文提出空间-时间扩展描述符（STED），一种简单而有效的视频动作识别方法，通过将时空位置直接编码到局部特征描述符中，避免了时空金字塔方法的高维表示和人工网格边界问题。STED在多个基准测试中实现了与STP相当或更优的准确率，同时使用了显著更低维的表示。

ABSTRACT

We address the problem of generating video features for action recognition. The spatial pyramid and its variants have been very popular feature models due to their success in balancing spatial location encoding and spatial invariance. Although it seems straightforward to extend spatial pyramid to the temporal domain (spatio-temporal pyramid), the large spatio-temporal diversity of unconstrained videos and the resulting significantly higher dimensional representations make it less appealing. This paper introduces the space-time extended descriptor, a simple but efficient alternative way to include the spatio-temporal location into the video features. Instead of only coding motion information and leaving the spatio-temporal location to be represented at the pooling stage, location information is used as part of the encoding step. This method is a much more effective and efficient location encoding method as compared to the fixed grid model because it avoids the danger of over committing to artificial boundaries and its dimension is relatively low. Experimental results on several benchmark datasets show that, despite its simplicity, this method achieves comparable or better results than spatio-temporal pyramid.

研究动机与目标

• 解决时空金字塔（STP）方法在处理非约束视频中大范围时空变化时的局限性。
• 降低STP方法因固定网格池化导致的高维特征表示，从而减少计算成本。
• 通过更早地在特征编码过程中整合时空位置信息，提升动作识别性能。
• 开发一种比STP更鲁棒、更高效的替代方法，避免对人工时空边界过度依赖。
• 证明在描述符中直接编码位置信息，相比基于池化的方案，能实现更好的泛化能力与更低的维度。

提出的方法

• 通过在运动/外观描述符 φi 后附加归一化的时空坐标 (x, y, t)，扩展局部视频描述符，形成空间-时间扩展描述符。
• 对组合后的描述符应用局部编码方案 g: φi → ℝ^K（例如稀疏编码或局部敏感哈希），生成紧凑且具备位置感知能力的特征。
• 通过在编码阶段直接将空间和时间位置嵌入描述符，避免单独的池化阶段，减少对固定网格划分的依赖。
• 在多个视频数据集上应用该方法，使用标准BoF流程与Fisher向量编码进行评估。
• 在不同时间金字塔层级（l=1 到 l=8）下将STED与STP进行对比，评估其鲁棒性与性能权衡。
• 采用标准评估指标：UCF50 和 HMDB51 使用平均准确率（mAcc），Hollywood2 和 Olympic Sports 使用平均精度均值（mAP）。

实验结果

研究问题

• RQ1 能否在局部描述符中直接编码时空位置，从而在动作识别任务中超越基于池化的时空金字塔方法？
• RQ2 在编码阶段整合位置信息，是否能在保持或提升识别准确率的同时，降低特征维度，相比STP？
• RQ3 STED在具有不同时空变化水平的多样化视频数据集（如HMDB51和Hollywood2）上的表现如何？
• RQ4 STED在非约束视频设置中，对人工网格边界带来的负面影响缓解程度如何？
• RQ5 在训练样本有限的数据集（如Olympic Sports数据集）上，STED是否比STP更具鲁棒性？

主要发现

• STED在所有四个基准数据集（UCF50、HMDB51、Hollywood2 和 Olympic Sports）上均持续提升性能，而STP表现不一致，有时甚至导致性能下降。
• 在HMDB51上，STED达到62.1%的平均准确率，比基线（59.0%）高出3.1个百分点，且优于STP在l=2时的61.3%。
• 在Hollywood2上，STED达到67.0%的mAP，比基线（64.6%）高出2.4个百分点，且超过STP在l=2时的67.4%。
• 在UCF50上，STED达到93.0%的mAcc，比基线（91.5%）高出1.5个百分点，且超过STP在l=2时的92.6%。
• 在Olympic Sports数据集上，STED达到89.8%的mAP，略高于STP的89.3%，尽管每类测试样本数量较少，统计可信度受限。
• STED以显著更低维的表示实现了最先进或具有竞争力的性能，因此在计算效率上更具优势。