[论文解读] CBR-Net: Cascade Boundary Refinement Network for Action Detection: Submission to ActivityNet Challenge 2020 (Task 1)

Xiang Wang, Baiteng Ma+5 more|arXiv (Cornell University)|Jun 13, 2020

Human Pose and Action Recognition参考文献 6被引用 7

一句话总结

该论文提出CBR-Net，一种用于时序动作检测的级联边界精炼网络，通过多阶段精炼模块对提议边界进行优化，从而提升提议的准确性。通过结合多种主干网络（TSN、I3D、Slowfast），以BMN作为基线，并应用集成策略，该方法在ActivityNet v1.3上实现了42.788%的mAP，位列ActivityNet Challenge 2020 Task 1第一。

ABSTRACT

In this report, we present our solution for the task of temporal action localization (detection) (task 1) in ActivityNet Challenge 2020. The purpose of this task is to temporally localize intervals where actions of interest occur and predict the action categories in a long untrimmed video. Our solution mainly includes three components: 1) feature encoding: we apply three kinds of backbones, including TSN [7], Slowfast[3] and I3d[1], which are both pretrained on Kinetics dataset[2]. Applying these models, we can extract snippet-level video representations; 2) proposal generation: we choose BMN [5] as our baseline, base on which we design a Cascade Boundary Refinement Network (CBR-Net) to conduct proposal detection. The CBR-Net mainly contains two modules: temporal feature encoding, which applies BiLSTM to encode long-term temporal information; CBR module, which targets to refine the proposal precision under different parameter settings; 3) action localization: In this stage, we combine the video-level classification results obtained by the fine tuning networks to predict the category of each proposal. Moreover, we also apply to different ensemble strategies to improve the performance of the designed solution, by which we achieve 42.788% on the testing set of ActivityNet v1.3 dataset in terms of mean Average Precision metrics.

研究动机与目标

• 通过边界精炼提升未剪辑视频中时序动作定位的准确性。
• 通过级联精炼机制解决现有方法（如BMN）中固定边界分辨率的局限性。
• 通过多主干特征提取与模型集成策略提升检测性能。
• 在ActivityNet Challenge 2020中实现时序动作检测的最先进结果。

提出的方法

• 该方法在15 FPS的视频片段上使用三个预训练主干网络（TSN、I3D、Slowfast）提取片段级特征。
• 以BMN作为提议生成的基线，引入新的级联边界精炼（CBR）模块，以多阶段方式对提议边界进行精炼。
• CBR模块通过级联回归头逐步优化提议的起始与结束边界，提升定位精度。
• 基于BiLSTM的时序特征编码模块捕获视频片段间的长程依赖关系。
• 系统融合微调后网络的视频级分类得分，为每个提议预测动作类别。
• 集成策略将CBR-Net、BSN和BMN的预测结果结合，以提升测试集上的性能。

实验结果

研究问题

• RQ1 级联边界精炼机制是否能够超越固定分辨率方法（如BMN）的边界精炼精度？
• RQ2 多主干特征融合在提升时序动作检测性能方面效果如何？
• RQ3 在ActivityNet Challenge 2020设置下，模型集成策略在多大程度上提升了mAP？
• RQ4 引入BiLSTM进行时序编码是否能增强动作检测中的长程特征表示？

主要发现

• CBR-Net在验证集上达到38.0%的mAP，较原始BMN基线提升2.65个百分点。
• CBR-Net、BSN与BMN的集成在测试集上达到42.788%的mAP，位列ActivityNet Challenge 2020 Task 1第一。
• 所提出的CBR模块有效精炼了提议边界，在未显著增加计算成本的前提下提升了定位精度。
• 多特征融合与模型集成策略显著提升了检测性能，表明不同架构之间具有良好的互补性。
• 该方法展现出强泛化能力，当使用相同的特征提取与训练技巧重新训练时，BSN与BMN基线的mAP分别提升了2.77%与2.65%。