[论文解读] Actor-Centric Relation Network

Chen Sun, Abhinav Shrivastava+4 more|arXiv (Cornell University)|Jul 28, 2018

Human Pose and Action Recognition参考文献 63被引用 14

一句话总结

本文提出了一种面向视频动作检测的弱监督方法——演员中心关系网络（Actor-Centric Relation Network, ACRN），通过建模演员、物体与场景之间的时空关系，提升动作识别性能。ACRN利用一维和三维卷积，从演员特征与全局场景特征中计算并聚合成对关系，超越帧级特征，显著提升性能，在JHMDB和AVA数据集上达到最先进水平，部分动作的帧平均精度（frame-AP）提升高达11%。

ABSTRACT

Current state-of-the-art approaches for spatio-temporal action localization rely on detections at the frame level and model temporal context with 3D ConvNets. Here, we go one step further and model spatio-temporal relations to capture the interactions between human actors, relevant objects and scene elements essential to differentiate similar human actions. Our approach is weakly supervised and mines the relevant elements automatically with an actor-centric relational network (ACRN). ACRN computes and accumulates pair-wise relation information from actor and global scene features, and generates relation features for action classification. It is implemented as neural networks and can be trained jointly with an existing action detection system. We show that ACRN outperforms alternative approaches which capture relation information, and that the proposed framework improves upon the state-of-the-art performance on JHMDB and AVA. A visualization of the learned relation features confirms that our approach is able to attend to the relevant relations for each action.

研究动机与目标

• 通过建模演员、物体与场景元素之间的关系，超越视觉外观，提升时空动作检测性能。
• 实现弱监督学习，自动挖掘相关关系，无需昂贵的实例级标注。
• 开发一种神经网络模块，联合学习关系特征，并支持与动作检测器的端到端训练。
• 证明关系推理有助于区分相似动作，如接球与投篮。
• 可视化并验证模型是否学会关注语义相关的关联，如演员-物体交互。

提出的方法

• ACRN使用可学习神经网络，计算演员表征与场景特征图单元之间的成对关系特征。
• 将场景特征表示简化为独立的网格单元，并使用1×1卷积高效计算关系。
• 通过3×3卷积层，聚合来自邻近空间与时间位置的关系信息，以建模局部上下文。
• 通过3D卷积神经网络引入时间上下文，将特征展平为二维，与空间关系联合处理。
• 模型与动作检测系统端到端联合训练，仅使用演员级监督信号。
• 应用类激活映射（CAM）可视化关系特征上的空间与时间注意力，提升可解释性。

实验结果

研究问题

• RQ1 弱监督关系建模是否能超越帧级特征，提升动作检测性能？
• RQ2 ACRN学习到的关系特征是否关注语义相关的交互，如演员-物体动态？
• RQ3 ACRN与不建模关系或仅使用全局上下文的基线模型相比表现如何？
• RQ4 哪些动作类别最受益于关系推理，尤其是涉及交互的动作？
• RQ5 模型能否泛化到复杂、模糊的动作，其中仅靠外观不足以识别？

主要发现

• 在AVA（版本2.1）上，ACRN实现17.4的帧平均精度（frame-AP），较基线模型（15.5）提升1.9个百分点，表明在多个划分上均实现稳定增益。
• 在JHMDB上，ACRN使'catch'动作的帧平均精度提升12%，'wave'提升10%，'jump'提升6%，表明在交互密集型动作上表现强劲。
• ACRN在AVA上达到77.9的帧平均精度与80.1的视频平均精度，性能达到最先进水平，超越I3D与ACT等先前方法。
• 可视化结果表明，ACRN学会关注相关关系，如接球与投篮动作中的球，证实其可解释性。
• ACRN减少误报并捕获漏检样本，定性对比显示ACRN可纠正基线模型的错误。
• 性能提升最大的动作类别为涉及人-人或人-物体交互的动作，如'fight'、'dance'、'kiss'与'play musical instruments'。