[论文解读] Improved Lite Audio-Visual Speech Enhancement

Shang-Yi Chuang, Hsin‐Min Wang+1 more|arXiv (Cornell University)|Aug 30, 2020

Speech and Audio Processing参考文献 91被引用 6

一句话总结

本文提出改进的轻量级音视频语音增强（iLAVSE），一种紧凑且保护隐私的音视频语音增强系统，采用卷积循环神经网络（CRNN）结合音视频特征压缩与鲁棒训练策略。该系统有效解决了视觉处理成本高、音视频不同步以及视觉数据质量差等问题，在真实场景约束下（包括高达100%的视觉数据丢失和严重不同步）性能优于基线音视频语音增强（AVSE）与纯音频系统。

ABSTRACT

Numerous studies have investigated the effectiveness of audio-visual multimodal learning for speech enhancement (AVSE) tasks, seeking a solution that uses visual data as auxiliary and complementary input to reduce the noise of noisy speech signals. Recently, we proposed a lite audio-visual speech enhancement (LAVSE) algorithm for a car-driving scenario. Compared to conventional AVSE systems, LAVSE requires less online computation and to some extent solves the user privacy problem on facial data. In this study, we extend LAVSE to improve its ability to address three practical issues often encountered in implementing AVSE systems, namely, the additional cost of processing visual data, audio-visual asynchronization, and low-quality visual data. The proposed system is termed improved LAVSE (iLAVSE), which uses a convolutional recurrent neural network architecture as the core AVSE model. We evaluate iLAVSE on the Taiwan Mandarin speech with video dataset. Experimental results confirm that compared to conventional AVSE systems, iLAVSE can effectively overcome the aforementioned three practical issues and can improve enhancement performance. The results also confirm that iLAVSE is suitable for real-world scenarios, where high-quality audio-visual sensors may not always be available.

研究动机与目标

• 解决在部署音视频语音增强（AVSE）系统时面临的实际挑战，包括视觉处理的高计算成本、音视频不同步以及低质量视觉输入。
• 在不牺牲隐私或计算效率的前提下，扩展轻量级 AVSE（LAVSE）框架以提升鲁棒性。
• 开发一种在视觉传感器可能不可靠或资源受限的真实条件下仍能保持高性能的系统。
• 验证数据增强与零值训练在处理音视频错位和视觉数据退化方面的有效性。

提出的方法

• iLAVSE 系统采用多模态 CRNN 架构，利用 LSTM 层建模音视频序列中的时序依赖性。
• 通过带有潜在特征量化单元的自编码器（AE）对视觉数据进行压缩，降低数据量并防止图像重建，从而增强隐私保护。
• CRQ（紧凑表示量化）模块提取用于 AVSE 模型的紧凑视觉特征，最大限度减少计算开销。
• 通过数据增强缓解音视频不同步问题：在训练中使用随机偏移的音视频对，以模拟真实世界中的错位。
• 通过零值训练方法模拟低质量视觉数据：在训练期间以不同比例（0–100%）随机掩码帧为零。
• 系统在台湾国语带视频数据集上进行端到端训练，性能通过 PESQ 和 STOI 指标评估。

实验结果

研究问题

• RQ1 轻量级 AVSE 系统在视觉数据相对于音频存在延迟或错位时，能否保持高性能？
• RQ2 当视觉输入退化或部分缺失时，系统性能如何？
• RQ3 使用增强的异步数据进行训练在多大程度上提升了对音视频不同步的鲁棒性？
• RQ4 在合成的低质量视觉数据上进行零值训练，能否提升在真实视觉数据丢失情况下的泛化能力？

主要发现

• 在测试偏移范围 [-3, 3] 内，iLAVSE(OFR5) 在所有偏移下均优于 Noisy 和 AOSE(DP)，证实其对轻度至中度音视频不同步具有鲁棒性。
• 在 100% 视觉数据丢失测试下，经 LPR ≥ 30 训练的 iLAVSE 模型 PESQ 和 STOI 分数与 AOSE(DP) 相当，表明在极端视觉丢失下性能下降极小。
• 在无视觉退化数据训练的 iLAVSE(LPR0) 模型，即使在 10% 视觉数据丢失下也表现出性能迅速下降，证实训练中包含低质量数据的必要性。
• 在 LPR ≥ 30 下训练的模型在所有测试的视觉数据丢失水平（0–100%）下均保持稳定性能，表明其对视觉质量退化具有强鲁棒性。
• 该系统在性能上优于传统 AVSE 和纯音频系统，尤其在视觉条件不利时表现更优，证实其在真实场景中的适用性。