[论文解读] Learning Audio-Visual Representations with Active Contrastive Coding

Shuang Ma, Zhaoyang Zeng+2 more|arXiv (Cornell University)|Aug 31, 2020

Speech and Audio Processing被引用 7

一句话总结

本文提出主动对比编码（active contrastive coding），一种通过主动采样构建多样化、高信息量负样本词典的方法，以提升自监督音视频表征学习性能。通过减少负样本中的冗余，该方法在UCF101、HMDB51和ESC50基准测试中取得最先进性能，尤其在视频分类等高互信息场景中表现突出。

ABSTRACT

Contrastive coding has achieved promising results in self-supervised representation learning. However, there are practical challenges given that obtaining a tight lower bound on mutual information (MI) requires a sample size exponential in MI and thus a large set of negative samples. We can incorporate more samples by building a large queue-based dictionary, but there are theoretical limits to performance improvements even with a large number of negative samples. We hypothesize that 'random negative sampling' leads to a highly redundant dictionary, which could result in representations that are suboptimal for downstream tasks. In this paper, we propose an active contrastive coding approach that builds an 'actively sampled' dictionary with diverse and informative items, which improves the quality of negative samples and achieves substantially improved results on tasks where there is high mutual information in the data, e.g., video classification. Our model achieves state-of-the-art performance on multiple challenging audio and visual downstream benchmarks including UCF101, HMDB51 and ESC50.

研究动机与目标

• 为解决大规模词典中负样本冗余导致自监督对比学习性能不佳的问题。
• 提升高互信息数据（如视频和音频序列）中的互信息估计与表征质量。
• 开发一种主动选择信息量丰富负样本的方法，而非依赖随机采样。
• 在UCF101、HMDB51和ESC50等具有挑战性的音视频基准上实现最先进结果。
• 减少大规模负样本队列中的冗余，从而在词典规模增大时仍能提升性能。

提出的方法

• 该方法引入一种主动采样策略，基于样本的信息量与多样性选择负样本，而非采用随机采样。
• 其维护一个动态的负样本词典，根据样本对对比学习的贡献度进行主动更新。
• 该方法采用兼顾多样性的选择标准，优先选择冗余度较低、对对比损失优化更具信息量的样本。
• 模型利用带有主动采样的记忆库，提升训练过程中负样本对的质量。
• 该方法将主动采样集成到对比学习框架中，未修改核心对比目标或主干网络架构。
• 该方法设计为与现有自监督学习框架兼容，并能高效扩展至大规模数据集。

实验结果

研究问题

• RQ1 主动采样负样本能否提升音视频学习中自监督表征的质量？
• RQ2 减少负样本词典中的冗余是否能提升下游任务的性能？
• RQ3 与随机负样本采样相比，主动对比编码在表征质量与下游准确率方面表现如何？
• RQ4 主动采样在高互信息数据（如视频和音频序列）中能多大程度上提升性能？
• RQ5 主动对比编码能否在UCF101、HMDB51和ESC50等标准音视频基准上实现最先进结果？

主要发现

• 所提出的主动对比编码方法在UCF101动作识别基准上达到最先进性能。
• 其在HMDB51上表现优异，该数据集具有高类间相似性，属于具有挑战性的动作识别数据集。
• 该方法在ESC50上也取得强劲结果，ESC50是具有挑战性的音视频声音分类基准。
• 通过减少负样本词典中的冗余，该方法即使在词典规模较大时，表征质量也优于随机采样。
• 主动采样策略生成了更具信息量的负样本对，从而提升了互信息估计与下游任务泛化能力。
• 该模型在多个音视频基准上均表现出一致的性能提升，尤其在高互信息场景中表现突出。