[论文解读] Generating Visually Aligned Sound from Videos

Peihao Chen, Yang Zhang+4 more|arXiv (Cornell University)|Jul 14, 2020

Speech and Audio Processing参考文献 42被引用 4

一句话总结

本文提出 RegNet，一种新颖的框架，通过引入音频前向正则化器，在训练过程中解耦相关与无关的声音成分，实现从视频生成视觉对齐声音。通过利用瓶颈编码器中的真实音频特征，RegNet 改进了时间对齐与内容对齐，使生成声音在‘真假辨别’测试中的人类成功率达到 68.12%。

ABSTRACT

We focus on the task of generating sound from natural videos, and the sound should be both temporally and content-wise aligned with visual signals. This task is extremely challenging because some sounds generated \emph{outside} a camera can not be inferred from video content. The model may be forced to learn an incorrect mapping between visual content and these irrelevant sounds. To address this challenge, we propose a framework named REGNET. In this framework, we first extract appearance and motion features from video frames to better distinguish the object that emits sound from complex background information. We then introduce an innovative audio forwarding regularizer that directly considers the real sound as input and outputs bottlenecked sound features. Using both visual and bottlenecked sound features for sound prediction during training provides stronger supervision for the sound prediction. The audio forwarding regularizer can control the irrelevant sound component and thus prevent the model from learning an incorrect mapping between video frames and sound emitted by the object that is out of the screen. During testing, the audio forwarding regularizer is removed to ensure that REGNET can produce purely aligned sound only from visual features. Extensive evaluations based on Amazon Mechanical Turk demonstrate that our method significantly improves both temporal and content-wise alignment. Remarkably, our generated sound can fool the human with a 68.12% success rate. Code and pre-trained models are publicly available at https://github.com/PeihaoChen/regnet

研究动机与目标

• 解决在视频中生成既在时间上又在内容上与视觉内容对齐的声音的挑战。
• 解决由于视觉无关声音无法从视频帧中推断而引发的信息不匹配问题。
• 通过引入一种在训练期间隔离相关声音成分的监督机制，提升对齐性能。
• 使模型在推理阶段仅依赖视觉特征，生成高保真、逼真的声音。

提出的方法

• RegNet 使用时间依赖的外观与运动特征提取模块，捕捉用于声音预测的视觉动态。
• 音频前向正则化器将真实音频编码为瓶颈特征，这些特征在训练期间与视觉特征融合。
• 正则化器通过使生成器能够利用视觉和音频瓶颈特征重建真实音频，提供强监督信号。
• 在推理阶段，移除音频前向正则化器，使声音生成完全依赖于视觉特征。
• 模型通过 L2 损失进行频谱图重建，并通过判别器引入对抗损失，以提升音频保真度。
• 通过控制下采样率 S 和输出维度 D，评估 RegNet 的不同变体，以研究正则化器容量对性能的影响。

实验结果

研究问题

• RQ1 为何在视频声音生成中，时间与内容对齐相较于语音合成更具挑战性？
• RQ2 训练数据中存在视觉无关声音时，为何会降低现有模型的对齐性能？
• RQ3 音频前向正则化器是否能有效抑制无关声音成分，并在训练中提升对齐效果？
• RQ4 音频前向正则化器的容量如何影响模型学习正确视觉到声音映射的能力？
• RQ5 对抗性训练是否能提升 RegNet 框架中生成声音的感知质量与真实感？

主要发现

• RegNet 在‘真假辨别’测试中的人类成功率达到 68.12%，优于基线模型。
• 最优的 RegNet 变体（S860D32）在 Dog-gauss 数据上实现了最低的 L2 距离（1.96），优于窄（D8）和宽（D1024）变体。
• 宽变体（S860D1024）的 Sound-Missing 得分较差，表明其因过度依赖正则化器而在动作事件中未能生成声音。
• 窄变体（S860D8）产生噪声频谱图，表明其因正则化器信息不足而学习到错误映射。
• 移除对抗性判别器后，人类成功率降至 64.04%，证明其在提升音频保真度方面的重要作用。
• 主观评估显示，RegNet 在所有三项对齐指标（Sound-Missing、Sound-Redundant、Sound-Mismatched）上的平均意见得分均最高。