[论文解读] Contextual Multi-Scale Region Convolutional 3D Network for Activity Detection

Yancheng Bai, Huijuan Xu+2 more|arXiv (Cornell University)|Jan 28, 2018

Human Pose and Action Recognition参考文献 24被引用 15

一句话总结

该论文提出了一种上下文多尺度区域卷积3D网络（CMS-RC3D），这是一种多尺度、端到端可训练的框架，通过时间特征金字塔在未剪辑视频中检测不同持续时间的活动。通过结合上下文建模学习特定尺度的检测器，CMS-RC3D在THUMOS14上达到最先进性能，在ActivityNet上也取得改进结果，相较于先前方法在THUMOS14上mAP最高提升4.0%，在ActivityNet上平均mAP提升5.0%。

ABSTRACT

Activity detection is a fundamental problem in computer vision. Detecting activities of different temporal scales is particularly challenging. In this paper, we propose the contextual multi-scale region convolutional 3D network (CMS-RC3D) for activity detection. To deal with the inherent temporal scale variability of activity instances, the temporal feature pyramid is used to represent activities of different temporal scales. On each level of the temporal feature pyramid, an activity proposal detector and an activity classifier are learned to detect activities of specific temporal scales. Temporal contextual information is fused into activity classifiers for better recognition. More importantly, the entire model at all levels can be trained end-to-end. Our CMS-RC3D detector can deal with activities at all temporal scale ranges with only a single pass through the backbone network. We test our detector on two public activity detection benchmarks, THUMOS14 and ActivityNet. Extensive experiments show that the proposed CMS-RC3D detector outperforms state-of-the-art methods on THUMOS14 by a substantial margin and achieves comparable results on ActivityNet despite using a shallow feature extractor.

研究动机与目标

• 解决在未剪辑视频中检测具有可变时间持续时长活动的挑战。
• 克服现有方法中固定时间分辨率特征图的局限性。
• 通过融合跨时间尺度的上下文信息提升检测精度。
• 实现可在单次前向传播中运行的多尺度检测器的端到端训练。
• 在不依赖深度双流特征的情况下，实现在公开基准上的最先进性能。

提出的方法

• 使用卷积层构建多尺度时间特征金字塔，生成不同时间分辨率的特征图。
• 在每个金字塔层级分别训练区域提议网络和分类器，以检测特定时长范围内的活动。
• 将周围时间片段的上下文信息融合到活动分类器中，以提升识别性能。
• 在所有金字塔层级上进行端到端训练，实现提议生成与分类的联合优化。
• 采用单次推理策略，主干网络仅处理视频一次，即可生成多尺度特征。
• 通过晚期融合机制集成上下文建模，增强分类的特征表示能力。

实验结果

研究问题

• RQ1 多尺度特征金字塔是否能提升对可变时间持续时长活动的检测性能？
• RQ2 与固定分辨率基线相比，对特定尺度检测器进行端到端训练是否能提升性能？
• RQ3 来自周围时间片段的上下文信息是否能提升未剪辑视频中的活动识别性能？
• RQ4 单次推理策略是否能在处理多样化时间尺度的同时保持高精度？
• RQ5 所提方法与最先进检测器在标准基准上的表现相比如何？

主要发现

• 与基线RC3D模型相比，CMS-RC3D在THUMOS14上的mAP@0.5提升了4.0%。
• 在THUMOS14上，该方法显著优于先前最先进方法，尤其在高IoU阈值下表现突出。
• 在ActivityNet v1.3上，CMS-RC3D相比基线RC3D模型将平均mAP提升了5.0%。
• 尽管使用浅层C3D特征提取器，CMS-RC3D的性能仍可与采用更深双流网络的方法相媲美。
• 定性结果表明，该方法在多样化的活动持续时间下均表现出稳健的检测能力，且能准确定位起止时间。
• 消融实验确认，多尺度表示与上下文建模对性能提升均至关重要。