[论文解读] Improving Audio-Visual Video Parsing with Pseudo Visual Labels

Jinxing Zhou, Dan Guo+2 more|arXiv (Cornell University)|Mar 4, 2023

Cancer-related molecular mechanisms research被引用 7

一句话总结

本文提出VPLAN，一种新颖的弱监督音视频视频解析方法，通过基于CLIP的视觉事件检测生成高质量的片段级伪标签。通过引入丰富度感知损失和标签去噪策略，VPLAN增强了监督信号，在LLP数据集上实现了最先进性能，当与MM-Pyramid结合时，片段级视觉事件准确率从52.3%提升至64.8%。

ABSTRACT

Audio-Visual Video Parsing is a task to predict the events that occur in video segments for each modality. It often performs in a weakly supervised manner, where only video event labels are provided, i.e., the modalities and the timestamps of the labels are unknown. Due to the lack of densely annotated labels, recent work attempts to leverage pseudo labels to enrich the supervision. A commonly used strategy is to generate pseudo labels by categorizing the known event labels for each modality. However, the labels are still limited to the video level, and the temporal boundaries of event timestamps remain unlabeled. In this paper, we propose a new pseudo label generation strategy that can explicitly assign labels to each video segment by utilizing prior knowledge learned from the open world. Specifically, we exploit the CLIP model to estimate the events in each video segment based on visual modality to generate segment-level pseudo labels. A new loss function is proposed to regularize these labels by taking into account their category-richness and segmentrichness. A label denoising strategy is adopted to improve the pseudo labels by flipping them whenever high forward binary cross entropy loss occurs. We perform extensive experiments on the LLP dataset and demonstrate that our method can generate high-quality segment-level pseudo labels with the help of our newly proposed loss and the label denoising strategy. Our method achieves state-of-the-art audio-visual video parsing performance.

研究动机与目标

• 为解决仅有视频级标签可用的弱监督音视频视频解析挑战。
• 克服现有伪标签方法缺乏片段级时间监督的局限性。
• 通过生成可靠、类别丰富且片段丰富的伪标签，提升模型泛化能力。
• 通过去噪机制优化伪标签，减少模糊视频级标签带来的干扰。
• 提供一种可泛化的框架，可直接应用于现有AVVP模型，无需架构修改。

提出的方法

• 伪标签生成模块利用CLIP模型预测每个视频片段中的视觉事件，生成片段级伪标签。
• 提出一种丰富度感知损失函数，通过最大化类别多样性与片段覆盖度来正则化伪标签。
• 采用标签去噪策略，在训练过程中通过检测高二元交叉熵损失动态纠正伪标签，实现预测翻转。
• 该方法利用基线HAN模型的联合训练与前向损失计算，迭代优化伪标签。
• 该方法与现有AVVP模型兼容，可作为即插即用模块直接应用。
• 框架端到端训练，伪标签被用作音频与视觉事件定位的监督信号。

实验结果

研究问题

• RQ1 能否利用视觉-语言预训练技术，从弱监督的视频级标签中有效生成片段级伪标签？
• RQ2 如何通过在损失函数中引入类别丰富度与片段丰富度来提升伪标签质量？
• RQ3 一种动态标签去噪策略，通过纠正高损失预测，是否能提升AVVP中的模型泛化能力？
• RQ4 所提方法是否可在不修改架构的前提下，提升多个最先进AVVP模型的性能？
• RQ5 与现有伪标签生成技术相比，该方法在准确率与鲁棒性方面表现如何？

主要发现

• 所提出的VPLAN方法在LLP数据集的音视频视频解析任务中实现了最先进性能。
• 当与MM-Pyramid模型结合时，使用完整VPLAN流程后，视觉事件解析准确率从52.3%提升至64.8%。
• 标签去噪策略显著提升性能，优于基线伪标签方法及先前方法如MA [48]。
• 该方法成功纠正了伪标签中的误报，例如将动作错误分类为鼓掌，或将模糊物体误判为事件。
• 丰富度感知损失通过鼓励在片段与类别间实现多样化且分布均匀的伪标签，提升了标签对齐效果。
• 该方法泛化能力强，作为即插即用模块应用于MM-Pyramid与MGN模型时，均显著提升了性能。