[论文解读] Boundary-Denoising for Video Activity Localization

Mengmeng Xu, Mattia Soldan+4 more|arXiv (Cornell University)|Apr 6, 2023

Human Pose and Action Recognition被引用 5

一句话总结

本文提出 DenoiseLoc，一种用于视频动作定位的新型边界去噪训练范式，通过在训练过程中向真实动作区间注入受控噪声，提升了定位精度和收敛速度。该方法在 QV-Highlights（mAP 提升 12.36%）和 MAD 数据集上实现了最先进性能，同时将每视频提议数显著减少至 30 个，优于现有方法并降低了计算成本。

ABSTRACT

Video activity localization aims at understanding the semantic content in long untrimmed videos and retrieving actions of interest. The retrieved action with its start and end locations can be used for highlight generation, temporal action detection, etc. Unfortunately, learning the exact boundary location of activities is highly challenging because temporal activities are continuous in time, and there are often no clear-cut transitions between actions. Moreover, the definition of the start and end of events is subjective, which may confuse the model. To alleviate the boundary ambiguity, we propose to study the video activity localization problem from a denoising perspective. Specifically, we propose an encoder-decoder model named DenoiseLoc. During training, a set of action spans is randomly generated from the ground truth with a controlled noise scale. Then we attempt to reverse this process by boundary denoising, allowing the localizer to predict activities with precise boundaries and resulting in faster convergence speed. Experiments show that DenoiseLoc advances %in several video activity understanding tasks. For example, we observe a gain of +12.36% average mAP on QV-Highlights dataset and +1.64% mAP@0.5 on THUMOS'14 dataset over the baseline. Moreover, DenoiseLoc achieves state-of-the-art performance on TACoS and MAD datasets, but with much fewer predictions compared to other current methods.

研究动机与目标

• 解决视频动作定位中的边界模糊问题，其中动作边界在时间上具有主观性和连续性。
• 通过将边界预测视为去噪任务，提升模型收敛速度和定位精度。
• 在不损失性能的前提下减少每视频所需提议数量，实现高效推理。
• 在无需手工设计提议的情况下，将方法推广至多样化视频领域（如 YouTube 视频、第一视角视频）。
• 在多个基准上实现最先进性能，且计算开销极低。

提出的方法

• 提出一种去噪训练范式，训练期间通过受控噪声尺度从真实标签生成噪声动作区间。
• 设计一种编码器-解码器模型，采用基于 Transformer 的编码器以捕捉跨模态交互，解码器则通过多层逐步优化提议。
• 在解码器中引入迭代优化机制，利用位置敏感特征更新提议嵌入与区间，逐步去除输入噪声。
• 引入时间区间去噪目标，促使模型从噪声初始区间中恢复精确边界。
• 将该方法应用于标准版本及基于扩散模型的变体（DiffusionLoc），通过时间条件嵌入提升生成质量。
• 采用类似 DDPM 的噪声调度，噪声水平由时间步 $t$ 控制，并在实际部署中使用单步推理。

实验结果

研究问题

• RQ1 基于去噪的训练目标是否能提升视频理解中边界定位的精度？
• RQ2 向真实标签区间注入受控噪声是否能带来更快的模型收敛和更好的泛化能力？
• RQ3 模型是否能在仅使用每视频 30 个提议的情况下实现最先进性能，超越使用数千个提议的方法？
• RQ4 边界去噪方法在如第一视角和长视频等多样化视频领域中是否具有良好的泛化能力？
• RQ5 匈牙利匹配器的局限性在多大程度上影响了召回率指标？去噪框架在多大程度上可缓解该问题？

主要发现

• 与基线相比，DenoiseLoc 在 QV-Highlights 数据集上的平均 mAP 提升了 12.36%。
• 在 MAD 数据集上，Recall@1 提升 2.69%，平均 mAP 提升 6.84%，达到最先进性能。
• 在 THUMOS’14 数据集上，DenoiseLoc 相较基线在 mAP@0.5 上提升 1.64%。
• 尽管每视频仅使用 30 个提议，DenoiseLoc 的性能与或优于使用数千个提议的方法。
• 如图 1 所示的训练动态表明，该模型收敛速度优于基线方法。
• 基于扩散模型的变体 DiffusionLoc 展现出潜力，但因推理过程中负区间恢复不稳定，仍需进一步探索。