[论文解读] A Structured Model For Action Detection

Yubo Zhang, Pavel Tokmakov+2 more|arXiv (Cornell University)|Dec 9, 2018

Human Pose and Action Recognition参考文献 60被引用 4

一句话总结

该论文提出了一种用于视频动作检测的结构化深度学习模型，通过人体跟踪实现长期时序建模，并利用图卷积网络进行关系推理，以捕捉人-物和人-人之间的交互。通过在模型架构中引入领域知识——使用I3D特征、基于tubelet的跟踪以及软关系图——该方法在AVA数据集上实现了22.2 mAP的性能，相比之前的最先进方法提升了4.8%。

ABSTRACT

A dominant paradigm for learning-based approaches in computer vision is training generic models, such as ResNet for image recognition, or I3D for video understanding, on large datasets and allowing them to discover the optimal representation for the problem at hand. While this is an obviously attractive approach, it is not applicable in all scenarios. We claim that action detection is one such challenging problem - the models that need to be trained are large, and labeled data is expensive to obtain. To address this limitation, we propose to incorporate domain knowledge into the structure of the model, simplifying optimization. In particular, we augment a standard I3D network with a tracking module to aggregate long term motion patterns, and use a graph convolutional network to reason about interactions between actors and objects. Evaluated on the challenging AVA dataset, the proposed approach improves over the I3D baseline by 5.5% mAP and over the state-of-the-art by 4.8% mAP.

研究动机与目标

• 解决视频中动作检测的挑战，其中大型模型和昂贵的标注限制了性能表现。
• 通过建模超越短期运动模式的长期时序依赖性，提升动作检测性能。
• 通过建模演员与物体之间的交互推理，提升复杂动作的识别能力。
• 通过使用弱监督物体检测和类别无关的物体提议，降低对昂贵实例级标注的依赖。
• 证明架构中的归纳偏置（如跟踪和关系图）在动作检测任务中显著提升性能。

提出的方法

• 从视频帧中提取I3D特征，以编码时空表征。
• 使用改进的、类别无关的物体检测框架（基于He et al. [17]）在无需类别特定标注的情况下定位演员和物体。
• 应用启发式跟踪器为每个演员生成3秒的tubelet——即边界框的时间序列——以建模长期运动。
• 构建以演员为中心的图结构，其中节点代表演员和物体，边编码潜在的人-物或人-人交互。
• 对tubelet和物体提议上的I3D特征进行池化，形成节点表征，随后应用图卷积网络进行关系特征推理。
• 在边级别特征上训练分类器以预测动作标签，实现基于物体位置弱监督的端到端学习。

实验结果

研究问题

• RQ1 通过tubelet跟踪显式建模长期演员运动，是否能提升长时长动作的检测性能？
• RQ2 在演员与物体之间引入关系推理，是否能增强对基于交互的动作的识别能力？
• RQ3 弱监督物体检测在多大程度上可减少动作检测中对昂贵实例级标注的依赖？
• RQ4 架构中的归纳偏置（如跟踪和图结构）是否能带来比仅通过端到端学习获得的表征更好的泛化能力？
• RQ5 在AVA基准上，所提出的各组件单独与组合使用时，其mAP增益如何比较？

主要发现

• 所提模型在AVA验证集上达到22.2 mAP，相比之前的最先进方法（ACRN）提升了4.8%。
• 该模型在需要长期时序建模的动作上表现提升最大，如“drive”、“play musical instrument”和“hand clap”。
• 使用演员tubelet和软关系图相比I3D基线模型，mAP提升了5.5%，证明了长期建模与关系建模的有效性。
• 定性分析表明，该模型能正确捕捉时空上下文：通过整合叉子特征，能区分“eat”与“hold”；通过建模双人交互，能正确识别“fight”。
• 在UCF-101-24数据集上，该模型达到77.9 mAP，优于I3D基线（72.0 mAP），但因使用I3D而非S3D作为主干网络，仍低于最先进水平。
• 消融实验表明，tubelet跟踪与关系图组件均至关重要，尤其在涉及复杂运动与物体交互的动作中，性能增益最为显著。