[论文解读] Convolutional Relational Machine for Group Activity Recognition

Sina Mokhtarzadeh Azar, Mina Ghadimi Atigh+2 more|arXiv (Cornell University)|Apr 5, 2019

Human Pose and Action Recognition参考文献 28被引用 5

一句话总结

本文提出卷积关系机器（CRM），一种用于群体活动识别的端到端深度卷积神经网络（CNN），通过中间活动图学习个体之间的空间关系。该模型通过多阶段过程优化此活动图，并聚合特征以实现准确的群体活动分类，在排球（93.04% 准确率）和集体活动数据集上优于当前最先进方法。

ABSTRACT

We present an end-to-end deep Convolutional Neural Network called Convolutional Relational Machine (CRM) for recognizing group activities that utilizes the information in spatial relations between individual persons in image or video. It learns to produce an intermediate spatial representation (activity map) based on individual and group activities. A multi-stage refinement component is responsible for decreasing the incorrect predictions in the activity map. Finally, an aggregation component uses the refined information to recognize group activities. Experimental results demonstrate the constructive contribution of the information extracted and represented in the form of the activity map. CRM shows advantages over state-of-the-art models on Volleyball and Collective Activity datasets.

研究动机与目标

• 通过显式建模图像或视频中个体之间的空间关系，提升群体活动识别性能。
• 开发一种深度学习架构，捕捉超越外观和时序特征的关系线索。
• 引入一种中间活动图表示，编码个体与群体活动之间的关系。
• 通过多阶段过程优化活动图，以减少预测误差。
• 在不依赖行人检测或跟踪的前提下，实现出色的基准数据集性能。

提出的方法

• 该模型使用卷积神经网络生成初始活动图，编码个体和群体活动的预测结果。
• 多阶段优化组件通过减少错误预测，迭代改进活动图。
• 将优化后的活动图与图像或视频特征融合，用于最终的群体活动分类。
• 该架构采用端到端训练策略，联合优化所有组件。
• 空间关系通过活动图的空间结构隐式建模，无需显式的关系池化或注意力机制。
• 该方法在两个公开数据集（排球和集体活动）上进行评估，使用单帧和多帧输入。

实验结果

研究问题

• RQ1 中间活动图能否有效编码用于群体活动识别的个体间空间关系？
• RQ2 与单步方法相比，活动图的多阶段优化是否能提升预测准确率？
• RQ3 基于CNN的模型能否在不使用显式行人检测或跟踪的情况下，超越现有关系建模方法？
• RQ4 与最先进模型相比，所提出的CRM在标准基准上的准确率表现如何？
• RQ5 该模型在多大程度上利用了超越外观和运动特征的空间上下文与关系线索？

主要发现

• 在多帧设置下，CRM在排球数据集上达到 93.04% 的准确率，比之前最佳方法高出 2.4%。
• 在单帧设置下，CRM达到 90.80% 的准确率，比之前最先进方法高出 2.5%。
• 在集体活动数据集上，CRM实现 85.75% 的多类分类准确率（MCA），优于大多数先前方法。
• 在将“行走”和“穿越”合并为“移动”后，MPCA 达到 94.2%，显著减少了这两类语义相近类别之间的混淆。
• 活动图可视化显示，CRM学习到了有意义的空间表征，不同颜色模式清晰指示不同活动类别。
• 消融实验确认，多阶段优化与特征聚合组件对性能提升至关重要。