[论文解读] Human Action Recognition without Human

Hirokatsu Kataoka, Hara, Kensho+1 more|arXiv (Cornell University)|Aug 29, 2016

Human Pose and Action Recognition参考文献 6被引用 5

一句话总结

本文提出「无需人类的行动识别」，表明仅靠背景运动即可在UCF101数据集上实现显著的分类性能。通过将人体区域替换为黑色背景，并使用双流卷积神经网络，该方法在UCF101上实现了47.42%的准确率——与存在人类时的56.91%性能相比出人意料地接近，凸显了背景动态在动作识别中的强大判别能力。

ABSTRACT

The objective of this paper is to evaluate "human action recognition without human". Motion representation is frequently discussed in human action recognition. We have examined several sophisticated options, such as dense trajectories (DT) and the two-stream convolutional neural network (CNN). However, some features from the background could be too strong, as shown in some recent studies on human action recognition. Therefore, we considered whether a background sequence alone can classify human actions in current large-scale action datasets (e.g., UCF101). In this paper, we propose a novel concept for human action analysis that is named "human action recognition without human". An experiment clearly shows the effect of a background sequence for understanding an action label.

研究动机与目标

• 探究是否仅依靠背景运动即可实现动作识别，而无需依赖人体运动。
• 评估背景序列作为上下文线索在UCF101等大规模动作识别数据集中的贡献。
• 通过隔离并分析仅背景特征，挑战人类运动对动作识别必不可少的假设。
• 在标准化的双流卷积神经网络框架下，比较存在与不存在人类时的识别性能。
• 证明仅背景动态即可为动作分类提供强大的判别信号。

提出的方法

• 应用中心周围图像滤波，将人体区域替换为黑色背景，从而从视频序列中有效去除人体运动。
• 使用预训练的非常深的双流卷积神经网络进行特征提取，其中空间流（外观）与时间流（运动）分别处理。
• 在原始UCF101数据集上使用标准双流训练方式训练模型，随后在仅含背景的序列上评估性能。
• 应用逆向滤波以分离人体区域，并比较存在与不存在人类时的性能表现。
• 使用公式(1)进行仅背景滤波：$ I'(x,y) = I(x,y) * f(x,y) $，其中$ f $将人体区域替换为黑色。
• 使用公式(2)进行仅人体滤波：$ \overline{I'}(x,y) = I(x,y) * \overline{f}(x,y) $，其中$ \overline{f} $移除背景以隔离人体运动。

实验结果

研究问题

• RQ1 是否可以仅依靠背景运动实现有效的动作识别，而完全不依赖与人类相关的特征？
• RQ2 当在完整视频与仅含背景序列的视频上训练时，双流卷积神经网络的性能表现有何差异？
• RQ3 在仅背景的动作识别中，外观（空间）特征与运动（时间）特征的相对贡献如何？
• RQ4 仅靠背景的上下文线索在基准数据集上的动作分类准确率中起到多大程度的影响？
• RQ5 在UCF101等大规模数据集中，仅背景序列是否足以区分不同的人类动作类别？

主要发现

• 当仅使用背景序列时，双流卷积神经网络在UCF101分割1上的准确率达到47.42%，表明仅靠背景运动即可支持有意义的动作识别。
• 在仅背景数据上，空间流的表现显著优于时间流（45.33% vs. 26.80%），表明背景中的外观线索比运动线索更具判别性。
• 存在人类时的性能为56.91%，比仅背景设置高出9.49个百分点，表明人体特征仍能提供显著提升。
• 在仅背景设置中，空间流比时间流高出18.53个百分点，表明背景外观模式比运动动态更具信息量。
• 在仅背景设置中，UCF101分割1的29.45%视频包含无完整人体的区域，且无任何视频完全不含人体内容，表明人体存在虽常见但并非识别的必要条件。
• 结果挑战了动作识别中的传统假设，揭示即使缺乏人体运动，背景序列也包含足以支持动作分类的充分上下文信息。