[论文解读] Decoupling Localization and Classification in Single Shot Temporal Action Detection

Yupan Huang, Qi Dai+1 more|arXiv (Cornell University)|Apr 16, 2019

Human Pose and Action Recognition参考文献 21被引用 4

一句话总结

该论文提出了一种名为Decouple-SSAD的新颖单阶段时序动作检测框架，通过将定位与分类解耦为独立分支以学习专业化特征，从而提升性能。通过使用反卷积对深层特征图进行细化并端到端训练，其在THUMOS14数据集上实现了35.8%的mAP@0.5，优于先前的单阶段方法，并接近两阶段SOTA水平。

ABSTRACT

Video temporal action detection aims to temporally localize and recognize the action in untrimmed videos. Existing one-stage approaches mostly focus on unifying two subtasks, i.e., localization of action proposals and classification of each proposal through a fully shared backbone. However, such design of encapsulating all components of two subtasks in one single network might restrict the training by ignoring the specialized characteristic of each subtask. In this paper, we propose a novel Decoupled Single Shot temporal Action Detection (Decouple-SSAD) method to mitigate such problem by decoupling the localization and classification in a one-stage scheme. Particularly, two separate branches are designed in parallel to enable each component to own representations privately for accurate localization or classification. Each branch produces a set of action anchor layers by applying deconvolution to the feature maps of the main stream. Each branch produces a set of feature maps by applying deconvolution to the feature maps of the main stream. High-level semantic information from deeper layers is thus incorporated to enhance the feature representations. We conduct extensive experiments on THUMOS14 dataset and demonstrate superior performance over state-of-the-art methods. Our code is available online.

研究动机与目标

• 为解决单阶段时序动作检测方法中联合优化定位与分类所使用的共享主干网络带来的局限性，该方法可能抑制专业化特征学习。
• 通过为提议生成和动作分类分别优化，实现专用分支，从而提升检测精度。
• 通过反卷积将深层网络中的高层语义特征融入锚框特征图，以增强表征质量。
• 在标准THUMOS14基准上实现最先进性能，同时保持端到端的单阶段训练范式。

提出的方法

• 该框架引入两个并行分支——分类分支与提议分支——源自共享主干流，从而实现定位与分类的优化解耦。
• 每个分支均对深层特征图应用反卷积，以升采样并细化表征，整合高层语义上下文信息。
• 通过在主干流的特征图上应用反卷积，生成每个分支中的动作锚框层，从而为每项任务实现专业化特征学习。
• 整个网络采用端到端训练，实现联合优化，同时保持任务特定的特征表示。
• 评估了一个消融实验中的精炼分支，该分支将定位与分类合并于单一路径中，但其性能低于解耦方法。
• 该方法采用多分支锚框网络架构，在保持单阶段推理效率的同时提升了精度。

实验结果

研究问题

• RQ1 在单阶段框架中解耦定位与分类是否能通过实现专业化特征学习来提升时序动作检测性能？
• RQ2 通过反卷积将深层网络中的高层语义特征引入，对定位与分类精度有何影响？
• RQ3 为每项任务设置专用分支是否优于共享分支联合优化两种任务的性能？
• RQ4 独立分支与统一精炼分支在提升THUMOS14上mAP方面的贡献分别是什么？
• RQ5 解耦的单阶段方法能否实现与最先进两阶段方法相当的性能？

主要发现

• Decouple-SSAD在THUMOS14数据集上实现了35.8%的mAP@0.5，相比最佳单阶段基线方法（SSAD）提升了11.2个百分点。
• 消融实验表明，仅使用分类分支可使mAP@0.5提升1.0%，仅使用提议分支可提升2.2%，相较于基线。
• 同时结合两个分支可使mAP@0.5相比基线提升4.6%，证明了解耦特征学习的有效性。
• 精炼分支（将两项任务合并于单一路径）仅带来2.8%的性能提升，证实解耦优于联合精炼。
• 在Kinetics上进行预训练后，性能进一步提升至44.2% mAP@0.5，表明所提架构具备强大的泛化能力与可扩展性。
• 该方法相比最佳单阶段竞争方法（SS-TAD）提升了6.6% mAP@0.5，且与最佳两阶段方法（BSN）仅相差1.1%，展现出强大的竞争力。