[论文解读] Cooperative Learning of Audio and Video Models from Self-Supervised Synchronization

Bruno Korbar, Du Tran+1 more|arXiv (Cornell University)|Jun 30, 2018

Music and Audio Processing被引用 187

一句话总结

一个自监督双流框架通过采用带课程难负样本的音视频时间同步来学习音频和视频表示，在下游任务中无需人工标签即可获得强大的音频和视频特征。

ABSTRACT

There is a natural correlation between the visual and auditive elements of a video. In this work we leverage this connection to learn general and effective models for both audio and video analysis from self-supervised temporal synchronization. We demonstrate that a calibrated curriculum learning scheme, a careful choice of negative examples, and the use of a contrastive loss are critical ingredients to obtain powerful multi-sensory representations from models optimized to discern temporal synchronization of audio-video pairs. Without further finetuning, the resulting audio features achieve performance superior or comparable to the state-of-the-art on established audio classification benchmarks (DCASE2014 and ESC-50). At the same time, our visual subnet provides a very effective initialization to improve the accuracy of video-based action recognition models: compared to learning from scratch, our self-supervised pretraining yields a remarkable gain of +19.9% in action recognition accuracy on UCF101 and a boost of +17.7% on HMDB51.

研究动机与目标

• 利用视频中音频和可视信号之间的自然相关性来在不进行人工标注的情况下学习通用的音视频表示。
• 训练一个双流网络以判断音频和视频片段是否在时间上同步。
• 研究负采样策略和课程学习对表示质量在下游任务中的影响。
• 证明所学习的音频特征在音频基准上达到或超过 state-of-the-art，并为视频模型初始化以改善动作识别。）

提出的方法

• 使用包含音频子网络和视频子网络的双流架构来评估同步性。
• 使用对比损失进行训练，使同步对的距离最小化，且为不同步对设置边距。
• 从时间对齐的音视频片段构造正样本，从不同视频（简单）或同一视频但时间错位（困难）构造负样本。
• 通过引入困难负样本在初步学习简单负样本后应用课程学习，提升AVTS及下游任务。
• 用 MC x 3D/2D 卷积处理视频，使用类似 VGG 的光谱特征提取器处理音频，然后在网络后端融合以完成 AVTS 任务。
• 评估 AVTS 作为动作识别和音频分类的预训练信号，包括微调和零-shot 特征提取场景。

实验结果

研究问题

• RQ1 AVTS 是否能够在无需人工标注的情况下学习出具有辨别力的音频和视频表示？
• RQ2 负样本采样策略（简单负样本与困难负样本）以及课程学习如何影响 AVTS 的性能和下游任务？
• RQ3 AVTS 学到的特征是否可以在不带标签的预训练数据下转移到动作识别和音频分类任务？
• RQ4 与使用完全有监督的预训练相比，在更大规模的无标签视频/音频数据集上用 AVTS 进行预训练的影响如何？

主要发现

• 通过 AVTS 学习的音频特征在 DCASE2014 和 ESC-50 上无需微调即可达到竞争性或更优的结果。
• 视频子网的预训练在动作识别上带来显著提升，例如与从零开始学习相比，在 UCF101 和 HMDB51 上有较大改进。
• 使用简单和困难负样本混合的课程学习比单阶段训练更能提升 AVTS 的准确性和下游任务表现。
• 在 Kinetics 上的 AVTS 预训练对动作识别提供了显著提升（如 MC3 模型提升），并且随着更大规模的无标签数据（AudioSet）而扩展。
• AVTS 特征对音频基准具有泛化能力，并支持多模态动作识别，超越相关的自监督方法。