[论文解读] Fast Learning of Temporal Action Proposal via Dense Boundary Generator

Chuming Lin, Jian Li+8 more|arXiv (Cornell University)|Nov 11, 2019

Human Pose and Action Recognition参考文献 25被引用 15

一句话总结

本文提出Dense Boundary Generator（DBG），一种用于在未修剪视频中快速且准确生成时序动作提议的统一框架。通过利用双流特征进行边界分类，并通过新颖的提议特征生成层实现动作感知的完整度回归，DBG在ActivityNet-1.3和THUMOS14数据集上达到最先进性能，其在动作检测中的mAP显著优于BMN和MGG等方法。

ABSTRACT

Generating temporal action proposals remains a very challenging problem, where the main issue lies in predicting precise temporal proposal boundaries and reliable action confidence in long and untrimmed real-world videos. In this paper, we propose an efficient and unified framework to generate temporal action proposals named Dense Boundary Generator (DBG), which draws inspiration from boundary-sensitive methods and implements boundary classification and action completeness regression for densely distributed proposals. In particular, the DBG consists of two modules: Temporal boundary classification (TBC) and Action-aware completeness regression (ACR). The TBC aims to provide two temporal boundary confidence maps by low-level two-stream features, while the ACR is designed to generate an action completeness score map by high-level action-aware features. Moreover, we introduce a dual stream BaseNet (DSB) to encode RGB and optical flow information, which helps to capture discriminative boundary and actionness features. Extensive experiments on popular benchmarks ActivityNet-1.3 and THUMOS14 demonstrate the superiority of DBG over the state-of-the-art proposal generator (e.g., MGG and BMN). Our code will be made available upon publication.

研究动机与目标

• 解决在时长可变、背景复杂的长时未修剪视频中生成精确时序动作提议的挑战。
• 克服基于锚点方法（边界不灵活）和基于边界方法（缺乏全局上下文）在提议生成中的局限性。
• 通过整合全局提议特征以实现边界预测与动作完整度估计，提升提议质量。
• 通过动作性分类的辅助监督实现端到端学习，以增强完整度回归的特征可分性。

提出的方法

• 提出双流基础网络（DSB），编码RGB与光流特征，以提取低层次的边界敏感表示和高层次的动作感知表示。
• 设计提议特征生成（PFG）层，将序列特征转换为矩阵形式表示，捕捉每个提议的全局上下文。
• 实现时序边界分类（TBC）模块，利用低层次双流特征预测两个置信度图（起始边界与结束边界）。
• 引入动作感知完整度回归（ACR）模块，利用高层次动作性特征生成完整度得分图，以评估提议质量。
• 通过Soft-NMS后处理融合三个得分图（起始置信度、结束置信度、完整度得分），生成最终提议。
• 采用多任务监督进行网络训练：DSB使用动作性分类损失，ACR使用回归损失，TBC通过二元交叉熵损失进行训练。

实验结果

研究问题

• RQ1 统一框架能否联合预测未修剪视频中密集提议的精确时序边界与可靠的动完整度得分？
• RQ2 通过PFG层引入全局提议特征，相较于局部特征方法，如何提升边界定位与完整度估计的性能？
• RQ3 通过动作性分类的辅助监督，能在多大程度上提升完整度回归的性能？
• RQ4 在基准测试中，所提出的DBG与BMN和MGG等最先进方法相比，在提议质量与检测准确率方面表现如何？

主要发现

• 在IoU阈值为0.3的THUMOS14数据集上，DBG使用SCNN分类器达到45.9%的mAP，优于BMN（45.7%）和MGG（44.9%）0.2–1.4个百分点。
• 使用UntrimmedNet分类器时，DBG在IoU为0.3时达到57.8% mAP，分别超越BMN（56.0%）和MGG（53.9%）1.8和3.9个百分点。
• 在ActivityNet-1.3数据集上，DBG在未见子集上达到66.57%的AUC，展现出对新型动作类别的强大泛化能力。
• 消融实验表明，若移除TBC模块（即预测密集边界置信度图的模块），AUC显著下降，尤其在高IoU阈值（如0.9）时更为明显，证明其对边界精度的关键作用。
• ACR模块通过辅助动作性监督显著提升完整度估计性能，相比仅使用双流特征，AUC提升1.5%。
• PFG层采用从提议左、中、右区域分别采样8/16/8个特征点时性能最优，证实全局上下文对准确生成提议的必要性。