[论文解读] Multi-Level Sequence GAN for Group Activity Recognition

Harshala Gammulle, Simon Denman+2 more|arXiv (Cornell University)|Dec 18, 2018

Human Pose and Action Recognition参考文献 26被引用 4

一句话总结

本文提出了一种半监督的多层级序列生成对抗网络（MLS-GAN），通过长短期记忆网络（LSTM）联合学习个体级和场景级特征，并引入一种新颖的门控融合单元，以生成具有判别性的'动作码'，用于群体活动识别。该模型在排球和集体活动数据集上优于当前最先进方法，通过有效建模长期依赖关系并利用两种视觉模态，且无需人工动作标注。

ABSTRACT

We propose a novel semi-supervised, Multi-Level Sequential Generative Adversarial Network (MLS-GAN) architecture for group activity recognition. In contrast to previous works which utilise manually annotated individual human action predictions, we allow the models to learn it's own internal representations to discover pertinent sub-activities that aid the final group activity recognition task. The generator is fed with person-level and scene-level features that are mapped temporally through LSTM networks. Action-based feature fusion is performed through novel gated fusion units that are able to consider long-term dependencies, exploring the relationships among all individual actions, to learn an intermediate representation or `action code' for the current group activity. The network achieves its semi-supervised behaviour by allowing it to perform group action classification together with the adversarial real/fake validation. We perform extensive evaluations on different architectural variants to demonstrate the importance of the proposed architecture. Furthermore, we show that utilising both person-level and scene-level features facilitates the group activity prediction better than using only person-level features. Our proposed architecture outperforms current state-of-the-art results for sports and pedestrian based classification tasks on Volleyball and Collective Activity datasets, showing it's flexible nature for effective learning of group activities.

研究动机与目标

• 解决视频中多个个体动态交互且上下文至关重要的群体活动识别挑战。
• 通过使模型自动学习内部表征，减少对人工标注个体动作标签的依赖。
• 通过在统一的生成对抗框架中整合个体级与场景级视觉特征，提升识别性能。
• 开发一种半监督架构，利用有标签和无标签数据以提升泛化能力。
• 引入一种门控融合单元，学习个体动作及其相互作用的注意力式加权，以获得更优的动作码表征。

提出的方法

• 生成器使用独立的LSTM处理个体级和场景级RGB特征序列，以建模各层级的时间动态。
• 一种新颖的门控融合单元（GFU）结合LSTM输出，学习捕捉长期依赖关系和个体动作相关性的中间动作码。
• 判别器执行双重任务：分类群体活动，并区分真实（真实）动作码与生成的动作码。
• 通过结合生成对抗网络目标（真实/虚假分类）与有标签数据上的监督分类目标，以半监督方式训练模型。
• 生成器被训练为生成在语义上合理且与真实样本无法区分的动作码，而判别器则通过对抗反馈持续优化。
• 该架构端到端可训练，GFU基于学习到的注意力机制，动态加权个体代理与场景上下文的贡献。

实验结果

研究问题

• RQ1 半监督生成对抗网络架构能否在不依赖人工标注个体动作标签的情况下，有效学习群体活动表征？
• RQ2 同时整合个体级与场景级特征如何影响群体活动识别模型的性能？
• RQ3 一种建模个体动作间长期依赖关系的门控融合单元，在多大程度上提升了动作码质量和识别准确率？
• RQ4 所提出的MLS-GAN框架是否能在多样化的数据集（如体育活动与行人活动）上实现良好泛化？
• RQ5 与标准监督训练相比，引入具有双重目标（分类与真实/虚假区分）的对抗训练，如何增强特征学习？

主要发现

• 所提出的MLS-GAN在集体活动数据集上达到91.7%的MPCA，显著优于先前最先进方法。
• 在排球数据集上，MLS-GAN实现了最先进性能，证明其在体育视频分析中的有效性。
• 消融研究显示，若移除场景级特征（MLS-GAN-ẑ），性能下降至91.2% MPCA，表明场景上下文的关键作用。
• 门控融合单元（GFU）相较于基线cGAN-GFU模型，将MPCA提升2.4%，凸显其在建模跨代理关系方面的有效性。
• 生成对抗目标显著增强了特征学习：在生成动作码上训练的分类器达到90.7% MPCA，而仅使用分类损失训练生成器时仅为60.5%。
• 该模型在单核CPU上生成100个预测耗时20.4秒，表明其推理效率合理，适合实际部署。