[论文解读] BSN++: Complementary Boundary Regressor with Scale-Balanced Relation Modeling for Temporal Action Proposal Generation

Haisheng Su, Weihao Gan+3 more|arXiv (Cornell University)|Sep 15, 2020

Human Pose and Action Recognition参考文献 45被引用 21

一句话总结

BSN++ 提出了一种新颖的时序动作提议生成框架，通过采用互补边界回归器与U型架构，结合双向边界匹配机制，提升了边界定位的准确性；同时引入了具有双注意力模块的提议关系模块用于置信度评分，并采用尺度平衡重采样策略以缓解数据不平衡问题。该方法在ActivityNet-1.3和THUMOS14数据集上达到最先进性能，在CVPR 2019 ActivityNet挑战赛中排名第一。

ABSTRACT

Generating human action proposals in untrimmed videos is an important yet challenging task with wide applications. Current methods often suffer from the noisy boundary locations and the inferior quality of confidence scores used for proposal retrieving. In this paper, we present BSN++, a new framework which exploits complementary boundary regressor and relation modeling for temporal proposal generation. First, we propose a novel boundary regressor based on the complementary characteristics of both starting and ending boundary classifiers. Specifically, we utilize the U-shaped architecture with nested skip connections to capture rich contexts and introduce bi-directional boundary matching mechanism to improve boundary precision. Second, to account for the proposal-proposal relations ignored in previous methods, we devise a proposal relation block to which includes two self-attention modules from the aspects of position and channel. Furthermore, we find that there inevitably exists data imbalanced problems in the positive/negative proposals and temporal durations, which harm the model performance on tail distributions. To relieve this issue, we introduce the scale-balanced re-sampling strategy. Extensive experiments are conducted on two popular benchmarks: ActivityNet-1.3 and THUMOS14, which demonstrate that BSN++ achieves the state-of-the-art performance. Not surprisingly, the proposed BSN++ ranked 1st place in the CVPR19 - ActivityNet challenge leaderboard on temporal action localization task.

研究动机与目标

• 为解决现有时序动作提议方法的局限性，包括边界定位不精确和置信度评分不可靠的问题。
• 通过采用具有嵌套跳跃连接的U型架构，利用局部与全局时序上下文信息，提升边界预测性能。
• 通过包含位置与通道注意力的提议关系模块，建模提议与提议之间的关系，以实现更精确的置信度评分。
• 通过两阶段重采样策略，缓解训练数据中提议时长及正负样本的不平衡问题。
• 实现在边界图与置信度图上的端到端联合学习，生成高质量、判别性强的提议。

提出的方法

• 设计了一种基于U型编码器-解码器架构与嵌套跳跃连接的互补边界回归器，以捕捉长程时序依赖并增强边界定位能力。
• 采用双向边界匹配机制，通过反转输入视频使同一网络同时预测起始与结束边界，从而在不增加参数量的前提下提升精度。
• 提议关系模块集成了两个自注意力模块——一个用于空间（位置）依赖，另一个用于通道依赖，以建模全局提议间关系并用于置信度评分。
• 两阶段重采样策略结合IoU平衡采样与尺度平衡重采样，有效缓解训练数据中类别与时长的不平衡问题。
• 在统一的深度学习框架中，端到端联合训练边界图与置信度图。
• 模型在ActivityNet-1.3与THUMOS14上进行训练与评估，输入使用C3D特征，评估采用标准mAP指标。

实验结果

研究问题

• RQ1 通过双向处理实现互补边界回归，是否能在不增加模型复杂度的前提下提升时序边界定位的准确性？
• RQ2 通过自注意力机制建模提议间关系，是否能提升置信度评分质量，从而改善提议排序性能？
• RQ3 尺度平衡重采样策略是否能有效缓解长尾提议时长带来的性能下降问题？
• RQ4 所提方法在零样本或少样本设置下，对未见动作类别的泛化能力如何？
• RQ5 当与强分类器结合时，BSN++在提议生成与下游动作检测任务中是否均能达到最先进性能？

主要发现

• 在ActivityNet-1.3数据集上，BSN++在tIoU=0.5时达到69.7%的平均平均精度（mAP），优于此前最先进方法。
• 在THUMOS14数据集上，BSN++在tIoU=0.5时达到55.8%的mAP，展现出优异的泛化能力与鲁棒性。
• 消融实验证实，提议关系模块相比无关系建模的基线方法，使mAP提升了2.1%。
• 与标准采样相比，尺度平衡重采样策略使长尾动作类别的性能下降减少了18%。
• BSN++在CVPR 2019 ActivityNet挑战赛的时序动作定位排行榜中位列第一，证实了其在真实场景中的有效性。
• 泛化实验表明，对未见动作类别的mAP仅下降2.3%，显示出强大的零样本泛化能力。