[论文解读] Learning Representations from Audio-Visual Spatial Alignment

Pedro Morgado, Yi Li+1 more|arXiv (Cornell University)|Nov 3, 2020

Music and Audio Processing参考文献 64被引用 22

一句话总结

本文提出音频-视觉空间对齐（AVSA），一种自监督掩蔽任务，通过在360°视频中利用空间音频，训练模型对来自不同视角的音频和视频片段进行对齐。通过利用基于变换器的多视角360°表征与对比学习，AVSA在动作识别、语义分割和音视频对齐等下游任务中表现更优，在UCF101和HMDB51上的性能相比AVC和AVTS基线模型最高提升4%。

ABSTRACT

We introduce a novel self-supervised pretext task for learning representations from audio-visual content. Prior work on audio-visual representation learning leverages correspondences at the video level. Approaches based on audio-visual correspondence (AVC) predict whether audio and video clips originate from the same or different video instances. Audio-visual temporal synchronization (AVTS) further discriminates negative pairs originated from the same video instance but at different moments in time. While these approaches learn high-quality representations for downstream tasks such as action recognition, their training objectives disregard spatial cues naturally occurring in audio and visual signals. To learn from these spatial cues, we tasked a network to perform contrastive audio-visual spatial alignment of 360° video and spatial audio. The ability to perform spatial alignment is enhanced by reasoning over the full spatial content of the 360° video using a transformer architecture to combine representations from multiple viewpoints. The advantages of the proposed pretext task are demonstrated on a variety of audio and visual downstream tasks, including audio-visual correspondence, spatial alignment, action recognition, and video semantic segmentation.

研究动机与目标

• 解决先前音视频自监督方法忽略音频与视频信号中空间线索的局限性。
• 通过利用空间信息丰富的360°视频和ambisonic音频数据，提升表征学习效果。
• 设计一种掩蔽任务，促使模型通过不同视角的音视频对齐来定位声源。
• 利用基于变换器的多视角360°视频表征聚合方法，增强特征学习。
• 在下游音视频理解与视觉理解任务中，证明AVSA相较于AVC和AVTS的优越性。

提出的方法

• 模型采用对比学习进行训练，正样本对由来自同一360°视频但不同视角的音频和视频片段组成，负样本对则来自不同视频或不同视角。
• 采用课程学习策略，初期聚焦于视频级别的对应关系，随后引入空间对齐以稳定训练过程。
• 网络处理来自不同方向的多个360°视频片段（NFOVs），使用3D CNN或视觉变换器提取特征。
• 采用变换器架构聚合多视角特征，以建模场景的完整空间布局，提升空间推理能力。
• 使用空间音频作为输入，使模型能够学习方向性音视频对应关系。
• 最终表征通过对比损失进行优化，以最大化对齐音视频对的一致性，同时最小化非对齐对的一致性。

实验结果

研究问题

• RQ1 自监督学习能否从360°视频数据中的空间音视频对齐中获益？
• RQ2 与单视角或全局池化方法相比，使用变换器建模多视角360°视频是否能提升表征质量？
• RQ3 在动作识别与语义分割等下游任务中，AVSA相较于AVC和AVTS的表现如何？
• RQ4 AVSA在声源定位方面相比基线方法的提升程度如何？
• RQ5 课程学习与空间音频能否增强音视频表征的泛化能力？

主要发现

• 在UCF101上，AVSA相比AVC提升4%，在HMDB51上提升3%；在动作识别任务中，分别较AVTS提升3.5%和2%。
• AVSA在视频语义分割任务中表现更优，展现出更强的空间理解能力。
• GradCAM可视化结果表明，AVSA模型比AVC模型能更准确地定位声源。
• 使用变换器聚合多视角特征显著提升了360°视频理解任务的性能。
• 定性分析注意力图表明，AVSA在音频定位方面表现更优。
• 尽管所用数据集仅为某些现有基准的五分之一，AVSA仍实现了自监督音视频学习的最先进性能。