[论文解读] Towards a generative approach to activity recognition and segmentation.

Hilde Kuehne, T. Serre|arXiv (Cornell University)|Sep 7, 2015

Human Pose and Action Recognition参考文献 31被引用 3

一句话总结

本文提出了一种端到端的生成式框架，用于视频动作识别与分割，通过将简化Fisher向量（FVs）与结构化时间模型相结合。结果表明，FV的生成特性在与高斯混合模型（GMMs）结合时能显著提升性能，在包括烹饪视频和动物行为视频在内的大规模数据集上，优于复杂的最先进方法。

ABSTRACT

As research on action recognition matures, the focus is gradually shifting away from categorizing manually-segmented clips into basic action units to parsing and understanding long action sequences that make up human daily activities. There is a long history of applying structured models for the analysis of temporal sequences. Yet, while they seem like an obvious choice for the recognition of human activities, they have not quite reached a level of maturity in vision which is comparable to that speech recognition. With the widespread availability of large video datasets, combined with recent progress in the development of compact feature representations, the time seems ripe to revisit structured generative approaches. We propose an end-to-end generative framework which uses reduced Fisher Vectors (FVs) in conjunction with structured temporal models for the segmentation and recognition of video sequences. It shows that the overall generative properties of FVs make them especially suitable for a combination with generative models like Gaussian Mixtures. The proposed approach is extensively evaluated on a variety of action recognition datasets ranging from human cooking activities to animal behavioral analysis. It shows that the architecture, despite its simplicity, it is able to outperform complex state-of-the-art approaches on all larger datasets.

研究动机与目标

• 解决对理解长时序、未分割的人类活动序列的需求，超越基础动作单元分类。
• 复兴视频分析中的结构化生成模型，这些模型在计算机视觉中尚未如在语音识别中那样成熟。
• 利用大规模视频数据集和紧凑的特征表示，提升活动识别与分割性能。
• 证明Fisher向量的生成特性使其在与生成模型（如高斯混合模型）结合时尤为有效。
• 通过简单、端到端的架构实现优异性能，优于复杂的最先进方法。

提出的方法

• 使用简化Fisher向量（FVs）作为紧凑且具有判别性的视频特征，同时保留其生成特性。
• 将FVs集成到结构化时间模型中，如隐马尔可夫模型（HMMs）或条件随机场（CRFs），用于序列建模。
• 应用高斯混合模型（GMMs）对FV特征的分布进行建模，利用其生成特性以提升识别性能。
• 端到端训练整个系统，联合优化特征表示与时间结构学习。
• 利用FV编码捕捉视频的局部与全局模式，增强对动作时长和外观变化的鲁棒性。
• 采用时间建模联合执行动作分割与识别，通过建模状态转移和观测似然性实现。

实验结果

研究问题

• RQ1 当与紧凑且判别性的表示（如简化FV）结合时，生成模型（如GMMs）是否能有效建模视频特征？
• RQ2 FV的生成特性是否能增强在结构化时间建模中用于活动识别与分割的性能？
• RQ3 一个简单、端到端的生成式框架是否能在大规模视频数据集上超越复杂、非生成式的最先进方法？
• RQ4 所提出方法在包括人类烹饪和动物行为分析在内的多样化活动识别任务中泛化能力如何？
• RQ5 简化FV在保持生成兼容性的同时，能在多大程度上保留用于准确动作识别所需的判别能力？

主要发现

• 所提出的框架在所有评估的大规模数据集上均优于复杂的最先进方法，展现出卓越的泛化能力。
• 由于其生成特性，简化Fisher向量在与高斯混合模型结合用于时间建模时，性能显著提升。
• 尽管架构简单，端到端的生成式框架仍取得了优异结果，表明生成建模仍是可行且高效的方法。
• 该方法在多样化领域（包括人类日常活动，如烹饪，以及动物行为分析）中表现出良好的泛化能力。
• 将FV与结构化模型结合，可实现对长视频序列的准确联合分割与识别。
• 该框架在更大规模数据集上持续获得性能增益，表明其具备可扩展性，并能应对数据复杂性的挑战。