[论文解读] Active Contrastive Learning of Audio-Visual Video Representations

Shuang Ma, Zhaoyang Zeng+2 more|arXiv (Cornell University)|Aug 31, 2020

Speech and Audio Processing参考文献 80被引用 46

一句话总结

CM-ACC 引入一种主动采样的跨模态对比学习框架，用于音视频表示，在标准基准上取得显著提升，并缓解大词典中的冗余。

ABSTRACT

Contrastive learning has been shown to produce generalizable representations of audio and visual data by maximizing the lower bound on the mutual information (MI) between different views of an instance. However, obtaining a tight lower bound requires a sample size exponential in MI and thus a large set of negative samples. We can incorporate more samples by building a large queue-based dictionary, but there are theoretical limits to performance improvements even with a large number of negative samples. We hypothesize that extit{random negative sampling} leads to a highly redundant dictionary that results in suboptimal representations for downstream tasks. In this paper, we propose an active contrastive learning approach that builds an extit{actively sampled} dictionary with diverse and informative items, which improves the quality of negative samples and improves performances on tasks where there is high mutual information in the data, e.g., video classification. Our model achieves state-of-the-art performance on challenging audio and visual downstream benchmarks including UCF101, HMDB51 and ESC50.\footnote{Code is available at: \url{https://github.com/yunyikristy/CM-ACC}}

研究动机与目标

• 通过自监督对比学习推动鲁棒的音视频表示学习。
• 通过提出主动采样来解决大词典中的冗余和无效负样本的问题。
• 开发利用音视频对应关系的跨模态对比学习框架。
• 展示在动作和声音分类任务上的下游性能提升。

提出的方法

• 将 MoCo 风格的对比学习扩展到跨模态音视频数据。
• 使用基于梯度的不确定性和 k-means++ 初始化来构建主动采样的负样本字典以实现多样性。
• 在跨模态中使用查询编码器和动量更新的键编码器计算跨模态对比损失。
• 使用伪标签来引导不确定性估计并选择多样且信息丰富的负样本。
• 加入额外的全连接层以实现跨模态梯度传播并提高稳定性。
• 在 AudioSet 和 Kinetics 数据集上进行预训练后，在下游任务上进行评估。

实验结果

研究问题

• RQ1 以主动、基于不确定性引导的负采样相比随机负样本，是否能够在高互信息的音视频数据上提升对比学习？
• RQ2 使用主动采样字典的跨模态对比学习是否能为下游的视频动作和音频分类任务提供更好的表示？
• RQ3 基于梯度的负样本采样在多样性和下游性能方面与基于特征的采样相比如何？
• RQ4 跨模态梯度流对训练稳定性和表示质量有何影响？

主要发现

• 在 AudioSet 与 Kinetics 数据上进行预训练时，CM-ACC 在 UCF101、HMDB51 和 ESC50 上实现了最先进的分类结果。
• 主动采样在语义类别上比随机采样产生更丰富的负样本，覆盖更多类别。
• 基于梯度的负采样嵌入在下游提升方面比仅使用特征嵌入要强。
• CM-ACC 在多个基准上显著优于随机采样的 MoCo 基线（在报道的比较中，ESC50 上最高达到 +6.2）。
• 通过辅助的 FC 层实现的跨模态梯度流训练，相较于没有跨模态流的版本，提升了稳定性和性能。