[论文解读] 1st place solution for AVA-Kinetics Crossover in AcitivityNet Challenge 2020

Siyu Chen, Junting Pan+7 more|arXiv (Cornell University)|Jun 16, 2020

Human Pose and Action Recognition参考文献 16被引用 4

一句话总结

本论文提出了一项在ActivityNet Challenge 2020 AVA-Kinetics Crossover赛道中获得第一名的解决方案，引入了演员-上下文-演员关系网络（ACAR-Net），通过位置感知注意力机制建模演员与场景上下文之间的高阶时空关系。该方法在测试集上取得了39.62 mAP的性能，显著优于其他参赛作品，其核心在于通过弱监督关系推理模块显式利用一阶演员-上下文关系及其高阶交互作用。

ABSTRACT

This technical report introduces our winning solution to the spatio-temporal action localization track, AVA-Kinetics Crossover, in ActivityNet Challenge 2020. Our entry is mainly based on Actor-Context-Actor Relation Network. We describe technical details for the new AVA-Kinetics dataset, together with some experimental results. Without any bells and whistles, we achieved 39.62 mAP on the test set of AVA-Kinetics, which outperforms other entries by a large margin. Code will be available at: https://github.com/Siyu-C/ACAR-Net.

研究动机与目标

• 通过建模演员与场景上下文之间的复杂高阶关系，提升AVA-Kinetics Crossover数据集上的时空动作定位性能。
• 开发一种高效且有效的方法，通过共享的空间上下文建模演员之间的间接高阶关系，而这些关系常被先前方法所忽略。
• 利用大规模Kinetics数据提升在AVA-Kinetics基准上的泛化能力与性能表现，尽管存在领域偏移和检测质量限制。
• 设计一种弱监督关系推理模块，仅需动作标签进行监督，避免使用昂贵的人工标注关系数据。
• 通过结合特征库、关系建模与多尺度推理的简单而强大的架构，实现最先进性能。

提出的方法

• 该框架使用视频主干网络（如I3D或SlowFast）和人员检测器（如Faster R-CNN）从关键帧中提取时空特征并生成RoI提议。
• 通过将每个演员的特征与视频特征图的空间网格拼接，再经卷积处理，计算一阶演员-上下文关系，生成关系图。
• 引入高阶关系推理算子（HR²O），通过改进的、带有层归一化和Dropout的卷积非局部块，建模相同空间位置上一阶演员-上下文特征之间的关系。
• HR²O在每个空间位置上计算不同演员的一阶关系之间的注意力权重，通过加权求和聚合上下文特征，生成高阶关系特征。
• 通过短片段构建演员-上下文特征库（ACFB），用于存储和重用一阶关系特征，增强长时序建模能力。
• 最终预测通过结合RoI特征、高阶关系特征（经平均池化）和分类头实现，同时采用多模型与多主干网络的集成策略。

实验结果

研究问题

• RQ1 在相同空间位置上建模演员-上下文特征之间的高阶关系，是否能提升时空动作定位性能？
• RQ2 一种弱监督、基于注意力的关系推理模块，在无显式关系标注的情况下，能否有效捕捉间接的高阶依赖关系？
• RQ3 在Kinetics-700上预训练并在AVA-Kinetics上微调，能在多大程度上提升在目标基准上的泛化能力与mAP？
• RQ4 人员检测质量如何影响最终动作定位性能，特别是在使用模型生成的边界框而非真实标注框时？
• RQ5 在时间维度上构建一阶关系的特征库，能否提升长程时序建模能力并提升动作定位的mAP？

主要发现

• 所提出的ACAR-Net在AVA-Kinetics测试集上取得了39.62 mAP，显著优于ActivityNet Challenge 2020中所有其他参赛方法。
• 在简单线性分类头基础上添加ACAR-Net头，使mAP提升了1.6个百分点，证明了高阶关系建模的有效性。
• 集成演员-上下文特征库（ACFB）头后，mAP在基线基础上进一步提升了2.86个百分点，凸显了长期特征记忆的优势。
• 使用更强的SlowFast R152主干网络相比R101，mAP提升了0.54个百分点，且在测试集上仅下降0.13 mAP，表明其具有强大的泛化能力。
• 在AVA-Kinetics上联合使用Kinetics数据训练，相比仅在AVA上训练，mAP提升了约2个百分点，显示出数据混合的价值。
• 尽管在AVA人员检测上达到了95.8 AP@50，但模型与真实标注性能之间仍存在8.1 mAP的差距，表明检测质量仍是当前瓶颈。