[论文解读] Background Modeling via Uncertainty Estimation for Weakly-supervised Action Localization

Pilhyeon Lee, Jinglu Wang+2 more|arXiv (Cornell University)|Jun 12, 2020

Human Pose and Action Recognition参考文献 54被引用 10

一句话总结

本文提出了一种新颖的不确定性估计方法，用于弱监督时序动作定位中的背景建模，将背景帧视为分布外样本。通过利用多实例学习并引入背景熵损失以鼓励分布内概率的均匀性，该方法有效抑制了背景干扰，并在THUMOS'14和ActivityNet（1.2与1.3）上实现了最先进性能。

ABSTRACT

Weakly-supervised temporal action localization aims to learn detecting temporal intervals of action classes with only video-level labels. To this end, it is crucial to separate frames of action classes from the background frames (i.e., frames not belonging to any action classes). In this paper, we present a new perspective on background frames where they are modeled as out-of-distribution samples regarding their inconsistency. Then, background frames can be detected by estimating the probability of each frame being out-of-distribution, known as uncertainty, but it is infeasible to directly learn uncertainty without frame-level labels. To realize the uncertainty learning in the weakly-supervised setting, we leverage the multiple instance learning formulation. Moreover, we further introduce a background entropy loss to better discriminate background frames by encouraging their in-distribution (action) probabilities to be uniformly distributed over all action classes. Experimental results show that our uncertainty modeling is effective at alleviating the interference of background frames and brings a large performance gain without bells and whistles. We demonstrate that our model significantly outperforms state-of-the-art methods on the benchmarks, THUMOS'14 and ActivityNet (1.2 & 1.3). Our code is available at this https URL.

研究动机与目标

• 为解决在弱监督时序动作定位中区分动作帧与背景帧的挑战。
• 将背景帧建模为分布外样本，以提高检测的鲁棒性。
• 在无帧级标注的情况下实现对背景帧的不确定性估计。
• 通过一种新颖的背景熵损失增强动作帧与背景帧之间的判别能力。
• 在无需额外组件的情况下，实现在标准基准上的最先进性能。

提出的方法

• 该方法将背景帧建模为分布外样本，从而将不确定性估计作为背景检测的代理。
• 在多实例学习框架内构建不确定性学习，以避免对帧级标注的依赖。
• 引入背景熵损失，以鼓励背景帧在各类动作上的分布内概率保持均匀。
• 通过交叉熵损失与背景熵损失联合优化不确定性估计，实现端到端训练。
• 该模型利用主干网络提取的深度特征，并应用时间聚合以预测动作边界。
• 最终预测通过设定不确定性分数阈值来识别动作片段。

实验结果

研究问题

• RQ1 能否将背景帧有效建模为分布外样本，以提升动作定位性能？
• RQ2 在缺乏帧级标签的情况下，如何对背景帧的不确定性进行估计？
• RQ3 引入背景熵损失是否能增强背景帧与动作帧之间的判别能力？
• RQ4 基于不确定性的背景建模是否能在弱监督动作定位中带来性能提升？
• RQ5 所提出方法在标准基准上与最先进方法相比表现如何？

主要发现

• 所提方法在THUMOS'14基准上实现了最先进性能，优于先前方法且无需额外组件。
• 在ActivityNet 1.2与1.3上，该方法显著优于现有最先进方法。
• 背景熵损失有效促使背景帧的分布内概率趋于均匀，从而提升了其检测效果。
• 不确定性估计成功降低了背景帧的干扰，实现了更精确的动作边界定位。
• 该方法在多样化数据集上展现出强大的泛化能力，证实了其鲁棒性与有效性。