[论文解读] Long-short Term Motion Feature for Action Classification and Retrieval

Zhenzhong Lan, Xuanchong Li+2 more|arXiv (Cornell University)|Feb 13, 2015

Human Pose and Action Recognition参考文献 23被引用 6

一句话总结

本文提出了一种名为长短期运动特征（LSTMF）的简单而有效的方法，通过从多种长度的视频块中提取局部运动描述符，提升视频动作分类与检索的性能。通过结合短、中、长时序片段的特征，LSTMF 比固定长度块方法更有效地捕捉快速与慢速运动，在使用改进密集轨迹（IDT）作为基础模型的情况下，在 HMDB51、Hollywood2、UCF50 和 Olympics Sports 数据集上均取得了最先进性能。

ABSTRACT

We propose a method for representing motion information for video classification and retrieval. We improve upon local descriptor based methods that have been among the most popular and successful models for representing videos. The desired local descriptors need to satisfy two requirements: 1) to be representative, 2) to be discriminative. Therefore, they need to occur frequently enough in the videos and to be be able to tell the difference among different types of motions. To generate such local descriptors, the video blocks they are based on must contain just the right amount of motion information. However, current state-of-the-art local descriptor methods use video blocks with a single fixed size, which is insufficient for covering actions with varying speeds. In this paper, we introduce a long-short term motion feature that generates descriptors from video blocks with multiple lengths, thus covering motions with large speed variance. Experimental results show that, albeit simple, our model achieves state-of-the-arts results on several benchmark datasets.

研究动机与目标

• 解决固定长度视频块在表示不同运动速度动作时的局限性。
• 提升视频分类与检索中局部运动描述符的判别性与代表性质量。
• 开发一种通用增强方法，可应用于现有基于描述符的视频描述方法，无需修改网络结构。
• 证明对描述符进行多尺度时序池化可显著提升基准数据集上的性能。

提出的方法

• 该方法从不同长度的视频块（例如 15、30、45、60、75、90 帧）中提取局部时空特征，而非单一固定长度。
• 对于每个视频，生成具有不同时间范围的多个视频块，同时保持空间与时间的一致性。
• 从每个块中提取局部描述符（如 HOF、MBH），并使用金字塔聚合策略在所有块长度上进行池化。
• 最终表示结合了所有块尺寸的特征，从而更全面地覆盖具有多样化运动速度的动作。
• 该方法应用于改进密集轨迹（IDT）框架之上，保持相同的编码与池化流程。
• 该方法设计为即插即用，兼容任何基于描述符的视频表示系统。

实验结果

研究问题

• RQ1 多尺度时序块尺寸是否能提升视频动作识别中局部运动描述符的代表性和判别性？
• RQ2 结合短时与长时视频片段的特征是否能在运动速度多变的数据集中带来更好的性能？
• RQ3 LSTMF 在多样化的基准数据集上与单长度块方法及最先进方法相比，性能如何？
• RQ4 块长度选择对特征覆盖范围与模型准确率的影响如何，特别是在短时视频中？

主要发现

• 在 HMDB51 上，LSTMF 使用块长度 l=90 时达到 63.7% 的平均准确率，超过此前最先进方法的 61.1%。
• 在 Hollywood2 上，LSTMF 达到 68.2% 的 MAP，优于此前最佳的 64.3%。
• 在 UCF50 上，LSTMF 实现 93.7% 的平均准确率，超过此前 SOTA 的 91.2%。
• 在 Olympics Sports 数据集上，LSTMF 达到 91.4% 的 MAP，略高于此前最佳的 91.1%。
• LSTMF 的性能随着块长度增加而持续提升，显示出在不同数据集上的鲁棒性与可扩展性。
• 该方法表明，多尺度块池化可显著提升描述符质量，尤其在运动速度变化较大的视频中。