[论文解读] Bottom-Up Temporal Action Localization with Mutual Regularization

Peisen Zhao, Lingxi Xie+4 more|arXiv (Cornell University)|Feb 18, 2020

Human Pose and Action Recognition参考文献 41被引用 8

一句话总结

本文提出了一种自下而上的时序动作定位框架，通过相互正则化改进帧级动作阶段预测，引入了相位内一致性（IntraC）和相位间一致性（InterC）损失，以在每个阶段内部强制实现时间平滑性，并在起始、持续和结束阶段之间保持有序一致性。该方法在 THUMOS14 数据集上 IoU=0.7 时实现了 6.8% 的绝对 mAP 提升，并在不同 TAL 架构上表现出良好的泛化能力。

ABSTRACT

Recently, temporal action localization (TAL), i.e., finding specific action segments in untrimmed videos, has attracted increasing attentions of the computer vision community. State-of-the-art solutions for TAL involves evaluating the frame-level probabilities of three action-indicating phases, i.e. starting, continuing, and ending; and then post-processing these predictions for the final localization. This paper delves deep into this mechanism, and argues that existing methods, by modeling these phases as individual classification tasks, ignored the potential temporal constraints between them. This can lead to incorrect and/or inconsistent predictions when some frames of the video input lack sufficient discriminative information. To alleviate this problem, we introduce two regularization terms to mutually regularize the learning procedure: the Intra-phase Consistency (IntraC) regularization is proposed to make the predictions verified inside each phase; and the Inter-phase Consistency (InterC) regularization is proposed to keep consistency between these phases. Jointly optimizing these two terms, the entire framework is aware of these potential constraints during an end-to-end optimization process. Experiments are performed on two popular TAL datasets, THUMOS14 and ActivityNet1.3. Our approach clearly outperforms the baseline both quantitatively and qualitatively. The proposed regularization also generalizes to other TAL methods (e.g., TSA-Net and PGCN). code: https://github.com/PeisenZhao/Bottom-Up-TAL-with-MR

研究动机与目标

• 解决由于孤立建模起始、持续和结束阶段而导致的自下而上时序动作定位中帧级预测不一致和不连续的问题。
• 利用标准二分类设置中被忽略的时间依赖性和阶段顺序约束。
• 通过端到端可微分的正则化方法强制预测的一致性，从而提高定位精度。
• 证明所提出的正则化方法可超越基础模型进行泛化，在其他 SOTA TAL 框架中提升性能。

提出的方法

• 引入相位内一致性（IntraC）正则化，以在每个阶段（起始、持续、结束）的正样本和负样本区域内强制实现平滑性，最小化区域内差异。
• 提出相位间一致性（InterC）正则化，通过耦合持续-起始和持续-结束概率之间的预测，强制实现动作阶段的逻辑顺序。
• 通过一致性检查耦合三个阶段分类器，实现在端到端训练过程中相互正则化，同时保持梯度流畅通。
• 使用结合标准交叉熵与 IntraC 和 InterC 项的可微分损失函数，实现带有时间先验的阶段预测联合优化。
• 将正则化应用于帧级概率图，稳定预测结果，并在模糊区域抑制误报。
• 在 THUMOS14 和 ActivityNet1.3 上验证方法，结果表明在多个基线和架构上均取得一致性能提升。

实验结果

研究问题

• RQ1 在每个动作阶段内强制实现时间平滑性是否能提升自下而上 TAL 中的帧级预测一致性和定位精度？
• RQ2 建模起始、持续和结束阶段之间的有序关系是否能减少矛盾预测并提升定位质量？
• RQ3 所提出的相互正则化方法是否能有效迁移至基础模型之外的其他 TAL 框架？
• RQ4 在严格 IoU 阈值（如 IoU=0.7）下，该正则化方法在多大程度上提升性能？
• RQ5 与弱监督或无监督设置下的其他平滑或正则化策略相比，所提出的一致性损失表现如何？

主要发现

• 与之前最先进方法相比，该方法在 THUMOS14 数据集上 IoU=0.7 时实现了 mAP 的 6.8% 绝对提升。
• 在 ActivityNet1.3 上，与基线相比，该方法在 IoU=0.3 时 mAP 提升 2.1%，在 IoU=0.5 时提升 1.8%。
• IntraC 和 InterC 正则化显著稳定了预测结果，减少了起始和结束阶段图中的误报。
• 定性结果表明，该正则化方法抑制了虚假提议，例如在 "CleanAndJerk" 和 "Wakeboarding" 等动作之间出现的错误起始点。
• 相互正则化具有良好的泛化能力：当应用于 TSA-Net 和 PGCN 时，两模型均实现性能提升，证实了该方法的可迁移性。
• Oracle 分析表明，提议排序是主要瓶颈，而该方法通过提升预测一致性，显著缩小了这一差距。