[论文解读] Context-Aware RCNN: A Baseline for Action Detection in Videos

Jian-Chao Wu, Zhanghui Kuang+3 more|arXiv (Cornell University)|Jul 20, 2020

Human Pose and Action Recognition参考文献 33被引用 4

一句话总结

本文提出 Context-Aware RCNN，这是一种用于视频动作检测的简单而有效的基线方法，通过在使用 I3D 进行特征提取前对动作主体区域进行裁剪和缩放至更高分辨率，同时融合场景和长期上下文信息，从而提升性能。该方法在 AVA 上达到 28.0% 的 mAP，在 JHMDB 上达到 79.2% 的 mAP，尽管使用的是标准的 ResNet-50 主干网络，仍优于以往方法。

ABSTRACT

Video action detection approaches usually conduct actor-centric action recognition over RoI-pooled features following the standard pipeline of Faster-RCNN. In this work, we first empirically find the recognition accuracy is highly correlated with the bounding box size of an actor, and thus higher resolution of actors contributes to better performance. However, video models require dense sampling in time to achieve accurate recognition. To fit in GPU memory, the frames to backbone network must be kept low-resolution, resulting in a coarse feature map in RoI-Pooling layer. Thus, we revisit RCNN for actor-centric action recognition via cropping and resizing image patches around actors before feature extraction with I3D deep network. Moreover, we found that expanding actor bounding boxes slightly and fusing the context features can further boost the performance. Consequently, we develop a surpringly effective baseline (Context-Aware RCNN) and it achieves new state-of-the-art results on two challenging action detection benchmarks of AVA and JHMDB. Our observations challenge the conventional wisdom of RoI-Pooling based pipeline and encourage researchers rethink the importance of resolution in actor-centric action recognition. Our approach can serve as a strong baseline for video action detection and is expected to inspire new ideas for this filed. The code is available at \url{https://github.com/MCG-NJU/CRCNN-Action}.

研究动机与目标

• 探究动作检测中标准 RoI-Pooling 流程是否因输入分辨率低而导致空间细节丢失。
• 解决由于动作主体边界框过小导致的细粒度动作识别性能下降问题。
• 开发一种简单而有效的动作检测基线方法，以保留局部细节并利用上下文信息。
• 挑战以 RoI-Pooling 为核心的传统动作识别范式，提出更具效果的替代方案。

提出的方法

• 在将视频帧输入 3D CNN（I3D）进行特征提取前，先将动作主体边界框从原始帧中裁剪并缩放至固定高分辨率。
• 使用预训练的人体检测器在关键帧上生成动作主体提议，随后从裁剪的图像块中提取特征。
• 融合从完整视频片段中提取的场景特征以及通过简化非局部模块提取的长期特征，以增强上下文理解能力。
• 通过拼接方式聚合动作主体特征、场景特征和长期特征，用于最终的动作分类。
• 应用简化版非局部模块以捕捉长距离时序依赖关系，性能优于标准池化方法。
• 采用平均池化进行特征聚合，其性能与基于注意力的方法相当，但计算成本更低。

实验结果

研究问题

• RQ1 动作检测中基于 RoI-Pooling 的流程是否因小尺寸动作主体区域的空间细节丢失而导致性能下降？
• RQ2 通过裁剪和缩放提升小尺寸动作主体的输入分辨率，能否增强以动作主体为中心的动作检测识别准确率？
• RQ3 上下文建模——特别是场景特征和长期特征——在提升动作检测性能方面的有效性如何？
• RQ4 一个仅包含高分辨率动作主体裁剪的简单 RCNN 类流程，是否能超越复杂的最先进模型？

主要发现

• 当动作主体边界框较小时，基于 RoI-Pooling 的流程会遭受显著性能下降，mAP 随分辨率降低而急剧下降。
• Context-Aware RCNN 在 AVA 数据集上实现了新的最先进 mAP 水平（28.0%），比之前最佳方法（LFB）高出 2.2%。
• 即使使用参数更少的 ResNet-50 主干网络，Context-Aware RCNN 仍优于使用更深的 ResNet-101 的 LFB，证明了高分辨率输入的有效性。
• 加入场景特征后，mAP 从 24.7% 提升至 25.7%，再引入长期特征后进一步提升至 28.0%。
• 在 JHMDB 数据集上，模型仅使用 RGB 帧即达到 79.2% 的 mAP，创下该基准的新 SOTA 记录。
• 简化版非局部模块优于标准注意力机制，且性能可与更复杂的注意力模块相媲美。