[论文解读] 2.5D Visual Sound

Ruohan Gao, Kristen Grauman|arXiv (Cornell University)|Dec 11, 2018

Speech and Audio Processing参考文献 53被引用 4

一句话总结

本文提出了一种2.5D视觉声音框架，通过利用视频中的视觉线索，将单声道音频转换为双耳音频，借助深度卷积神经网络从视觉场景配置中推断空间音频。该方法实现了自监督的音视频表征学习，提升了双耳音频合成与音视频源分离的性能。

ABSTRACT

Binaural audio provides a listener with 3D sound sensation, allowing a rich perceptual experience of the scene. However, binaural recordings are scarcely available and require nontrivial expertise and equipment to obtain. We propose to convert common monaural audio into binaural audio by leveraging video. The key idea is that visual frames reveal significant spatial cues that, while explicitly lacking in the accompanying single-channel audio, are strongly linked to it. Our multi-modal approach recovers this link from unlabeled video. We devise a deep convolutional neural network that learns to decode the monaural (single-channel) soundtrack into its binaural counterpart by injecting visual information about object and scene configurations. We call the resulting output 2.5D visual sound---the visual stream helps lift the flat single channel audio into spatialized sound. In addition to sound generation, we show the self-supervised representation learned by our network benefits audio-visual source separation. Our video results: this http URL

研究动机与目标

• 为解决双耳音频录音稀缺的问题，实现单声道音频到空间化双耳音频的自动转换。
• 利用视觉帧作为隐式空间线索，恢复单通道音频中缺失的空间信息。
• 从无标签视频数据中学习自监督的音视频表征，以提升下游音频任务的性能。
• 证明视觉信息能够有效将平面单声道音频“提升”为感知丰富的三维声音。

提出的方法

• 训练一个深度卷积神经网络，将单声道音频和对应的视频帧映射为双耳音频输出。
• 利用视频帧中的视觉特征——如物体位置和场景几何结构——来调节音频合成过程。
• 利用音频与视频之间的时序对齐，在自监督方式下学习联合音视频表征。
• 通过跨模态注意力或特征融合机制，将视觉空间线索注入音频网络，以指导双耳渲染。
• 使用预测双耳音频与真实双耳音频之间的重建损失进行网络优化（当真实数据可用时），并结合音视频对比学习实现自监督。
• 利用学习到的音视频特征用于下游任务，如音视频源分离。

实验结果

研究问题

• RQ1 视频中的视觉信息能否有效用于推断单声道音频中的空间音频特征？
• RQ2 自监督模型在无标签视频数据上学习有意义音视频表征的能力有多强？
• RQ3 所提出的2.5D视觉声音方法在未见的音视频场景上泛化能力如何？
• RQ4 所学习的表征能否提升音视频源分离任务的性能？

主要发现

• 所提出的方法仅使用视频作为输入，即可成功从单声道输入生成感知上令人信服的双耳音频。
• 网络学习到的自监督表征显著提升了音视频源分离任务的性能。
• 物体位置和场景布局等视觉线索显著增强了生成双耳音频的空间真实感。
• 该模型在未见的音视频配对上表现出良好的泛化能力，对场景配置和音频内容的变化具有鲁棒性。