[论文解读] Learning Audio-Visual Dereverberation

Changan Chen, Wei Sun+2 more|arXiv (Cornell University)|Jun 14, 2021

Speech and Audio Processing参考文献 60被引用 5

一句话总结

本文提出了视觉引导的语音混响抑制（VIDA），一种端到端的音视频深度学习模型，利用视觉场景线索（如房间几何结构、材料属性和说话人位置）来提升语音混响抑制效果。通过结合视觉声学网络（VAN）与多模态UNet，并引入一种新颖的音视频匹配损失函数，VIDA在语音增强、语音识别和说话人识别任务中均达到当前最优性能，在模拟数据和真实世界数据上均优于仅使用音频的基线模型。

ABSTRACT

Reverberation not only degrades the quality of speech for human perception, but also severely impacts the accuracy of automatic speech recognition. Prior work attempts to remove reverberation based on the audio modality only. Our idea is to learn to dereverberate speech from audio-visual observations. The visual environment surrounding a human speaker reveals important cues about the room geometry, materials, and speaker location, all of which influence the precise reverberation effects. We introduce Visually-Informed Dereverberation of Audio (VIDA), an end-to-end approach that learns to remove reverberation based on both the observed monaural sound and visual scene. In support of this new task, we develop a large-scale dataset SoundSpaces-Speech that uses realistic acoustic renderings of speech in real-world 3D scans of homes offering a variety of room acoustics. Demonstrating our approach on both simulated and real imagery for speech enhancement, speech recognition, and speaker identification, we show it achieves state-of-the-art performance and substantially improves over audio-only methods.

研究动机与目标

• 为解决仅依赖音频的混响抑制方法在复杂声学环境中缺乏足够约束、难以准确估计混响的问题。
• 探究环境的视觉观测（如房间布局、材料属性和说话人位置）是否能为提升语音混响抑制提供有效线索。
• 构建一个大规模、逼真的音视频数据集，包含真实干净语音以及空间对齐的视觉与声学数据，用于模型训练与评估。
• 设计一种多模态深度学习框架，联合建模音频与视觉输入，以推断并去除语音信号中的混响。

提出的方法

• VIDA采用视觉声学网络（VAN），通过编码3D环境的视觉观测来推断房间声学特性，包括几何结构、材料属性和说话人位置。
• 采用多模态UNet架构，融合视觉与音频特征，从含混响输入中预测干净的频谱图，并利用注意力机制对齐相关的视觉与音频线索。
• 引入一种新颖的音视频（AV）匹配损失，以强制音频推断的混响特征与视觉输入预测的特征保持一致。
• 模型在SoundSpaces-Speech数据集上进行训练，该数据集通过3D模拟器生成，可在真实扫描的室内环境中渲染逼真的语音与音频，并提供真实无混响的音频作为监督信号。
• 通过在合成数据上训练并在真实世界音视频记录上微调，实现从模拟到真实场景的迁移。
• 在多个下游任务上评估该方法：语音增强（PESQ）、自动语音识别（WER）和说话人验证（EER）。

Fig. 1: The goal of audio-visual dereverberation is to leverage the visual observation of the environment to improve speech enhancement.

实验结果

研究问题

• RQ1 与仅使用音频的方法相比，视觉场景信息是否能显著提升语音混响抑制的准确性？
• RQ2 房间几何结构、材料属性和说话人位置等视觉线索在建模混响特性方面发挥了多大程度的贡献？
• RQ3 在模拟环境中训练的模型在真实世界音视频数据上的泛化能力如何？视觉输入在不同声学环境下的鲁棒性影响如何？
• RQ4 通过联合损失函数整合视觉与音频特征，是否能促进模型在学习表征中更有效地解耦混响相关因素？

主要发现

• 在真实世界测试数据上，VIDA的词错误率（WER）达到13.02%，显著优于次优基线模型MetricGAN+的21.42% WER。
• 在相同真实世界数据上，VIDA将等错误率（EER）降低至3.75%，而MetricGAN+为5.70%，表明在说话人验证任务中表现更优。
• 消融实验表明，移除3D人体网格（w/o human mesh）后WER上升至15.18%，使用随机图像（w/ random image）后WER上升至14.71%，证明模型同时依赖说话人与场景几何结构。
• t-SNE可视化结果表明，模型学习到的音频与视觉特征与真实说话人距离及RT60值具有强相关性，表明声学参数被有效解耦。
• 在如大厅和走廊等高度混响的环境中，VIDA结合VAN的模型相比无VAN的基线模型，WER最高降低达50%，尤其在远场条件下效果显著。
• 模型展现出强大的模拟到真实泛化能力，真实数据上的性能与模拟结果高度一致，验证了SoundSpaces-Speech数据集的逼真性。

Fig. 2: Visual cues reveal key factors influencing reverb effects on human speech audio. For example, these audio speech samples (depicted as waveforms and spectrograms) are identical lexically, but have very different reverberation properties owing to their differing environments. In the church, re