[论文解读] A Hybrid Framework for Action Recognition in Low-Quality Video Sequences

Tej Singh, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|Mar 11, 2019

Human Pose and Action Recognition参考文献 29被引用 5

一句话总结

本文提出了一种混合框架，用于在低质量视频序列中实现鲁棒的人体动作识别，结合了子图像直方图均衡化以增强光照效果，以及k键姿态轮廓用于特征提取。该方法在Weizmann、KTH和Ballet Movement等退化数据集上实现了高识别准确率，在低曝光条件下优于现有技术，同时保持了与最先进方法相当的性能。

ABSTRACT

Vision-based activity recognition is essential for security, monitoring and surveillance applications. Further, real-time analysis having low-quality video and contain less information about surrounding due to poor illumination, and occlusions. Therefore, it needs a more robust and integrated model for low quality and night security operations. In this context, we proposed a hybrid model for illumination invariant human activity recognition based on sub-image histogram equalization enhancement and k-key pose human silhouettes. This feature vector gives good average recognition accuracy on three low exposure video sequences subset of original actions video datasets. Finally, the performance of the proposed approach is tested over three manually downgraded low qualities Weizmann action, KTH, and Ballet Movement dataset. This model outperformed on low exposure videos over existing technique and achieved comparable classification accuracy to similar state-of-the-art methods.

研究动机与目标

• 解决在光照不良和遮挡条件下低质量视频序列中人体动作识别的挑战。
• 为实时监控和监控应用开发一种鲁棒的、与光照无关的模型。
• 通过图像预处理和基于姿态的轮廓表示，增强低曝光视频中的特征表示。
• 在手动降级的标准动作识别数据集上评估性能。
• 尽管输入质量较低，仍实现与最先进方法相当的分类准确率。

提出的方法

• 应用子图像直方图均衡化以增强低曝光视频帧的对比度和可见性。
• 从增强后的帧中提取k键姿态人体轮廓，以表示时间动作模式。
• 从轮廓构建特征向量，并使用机器学习模型进行分类。
• 采用结合图像增强和基于姿态表示的混合方法，以提高鲁棒性。
• 在三个手动降级的数据集上测试该框架：Weizmann Action、KTH和Ballet Movement。
• 采用标准评估协议，与现有方法进行性能对比。

实验结果

研究问题

• RQ1 子图像直方图均衡化是否能有效提升低曝光视频序列中的识别准确率？
• RQ2 k键姿态轮廓的使用如何增强低质量视频中的特征表示？
• RQ3 该混合框架是否在退化视频数据集上优于现有方法？
• RQ4 在低质量条件下，该方法在多大程度上保持了与最先进技术相当的准确率？
• RQ5 在监控场景中，该框架对光照变化和遮挡的鲁棒性如何？

主要发现

• 所提出的框架在三个低曝光视频序列子集上的平均识别准确率高于现有技术。
• 该方法在Weizmann Action、KTH和Ballet Movement数据集的手动降级版本上优于基线方法。
• 尽管输入视频质量显著退化，识别准确率仍与最先进方法相当。
• 子图像直方图均衡化有效缓解了不良光照对特征提取的影响。
• k键姿态轮廓表示在低质量条件下提供了稳定且具有判别性的特征。
• 该混合模型在视觉信息有限的实时监控应用中表现出良好的鲁棒性。