[论文解读] Contrastive Learning of Global and Local Audio-Visual Representations.

Shuang Ma, Zhaoyang Zeng+2 more|arXiv (Cornell University)|Apr 7, 2021

Speech and Audio Processing参考文献 61被引用 6

一句话总结

本文提出了一种自监督对比学习框架，通过两种跨模态对比目标，联合优化全局（如分类）和局部（如定位）音视频表征。该方法在多种下游任务中表现出强大的泛化能力，包括动作/声音分类、唇读、深度伪造检测和声源定位。

ABSTRACT

Contrastive learning has delivered impressive results in many audio-visual representation learning scenarios. However, existing approaches optimize for learning either extit{global} representations useful for tasks such as classification, or extit{local} representations useful for tasks such as audio-visual source localization and separation. While they produce satisfactory results in their intended downstream scenarios, they often fail to generalize to tasks that they were not originally designed for. In this work, we propose a versatile self-supervised approach to learn audio-visual representations that generalize to both the tasks which require global semantic information (e.g., classification) and the tasks that require fine-grained spatio-temporal information (e.g. localization). We achieve this by optimizing two cross-modal contrastive objectives that together encourage our model to learn discriminative global-local visual information given audio signals. To show that our approach learns generalizable video representations, we evaluate it on various downstream scenarios including action/sound classification, lip reading, deepfake detection, and sound source localization.

研究动机与目标

• 为解决现有对比学习方法仅优化全局或局部表征而非两者的问题。
• 开发一种统一的自监督方法，学习在高层次语义理解与细粒度时空对齐方面均有效的判别性音视频表征。
• 提升在多样化下游音视频任务中的零样本与少样本迁移性能。
• 评估所学表征在需要不同类型音视频理解的任务中的泛化能力。

提出的方法

• 该方法采用两种跨模态对比目标：一种用于全局表征学习，另一种用于局部表征学习。
• 全局对比损失鼓励音频与视觉特征在整体视频语义层面（如动作或声音类别）对齐。
• 局部对比损失促进音频与视觉特征在时间与空间层面的细粒度对齐，支持如源定位等任务。
• 模型通过在未配对的音频与视频数据上进行对比预训练，端到端地自监督训练。
• 双目标优化使网络能够学习一个统一的表征空间，同时保留全局语义与局部时空细节。
• 该方法利用对比学习在联合嵌入空间中最大化正样本对的一致性，同时拉大负样本对的距离。

实验结果

研究问题

• RQ1 单一自监督学习框架能否有效同时学习全局与局部音视频表征？
• RQ2 全局与局部对比目标的联合优化在多样化下游任务中如何提升零样本迁移性能？
• RQ3 所提出方法在需要全局或局部理解的任务中，是否比特定任务的对比模型泛化能力更强？
• RQ4 所学表征在深度伪造检测与唇读等任务中，能多大程度支持零样本迁移？

主要发现

• 所提方法在动作与声音分类任务中实现了最先进（SOTA）的零样本性能，优于为这些任务专门训练的模型。
• 其在唇读任务中表现优异，证明了所学局部表征在细粒度视觉-语音对齐方面的有效性。
• 模型在深度伪造检测任务中泛化良好，表明其对细微的视觉-视觉与音频-视觉不一致性具有鲁棒性。
• 其在声源定位任务中取得了具有竞争力的结果，证实了局部对比目标在时空对齐方面的价值。
• 消融实验表明，同时使用全局与局部对比目标的性能优于仅使用任一目标。
• 该方法在无需任务特定微调的情况下，有效泛化于多样化下游任务，凸显其通用性。