[论文解读] Dereverberation using joint estimation of dry speech signal and acoustic system

Sanna Wager, Keunwoo Choi+1 more|arXiv (Cornell University)|Jul 24, 2020

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种用于语音去混响的联合深度学习框架，通过从频谱图表示的混响输入中同时估计干语音信号和房间脉冲响应（RIR），实现语音去混响。该方法结合了用于直接干语音估计的U-Net与用于RIR估计的卷积模型，通过共享训练目标提升性能，优于独立模型，实现了干语音任务的最先进性能；然而在RIR精度方面仍存在局限，这为未来基于相位感知和序列建模的方法提供了研究动机。

ABSTRACT

The purpose of speech dereverberation is to remove quality-degrading effects of a time-invariant impulse response filter from the signal. In this report, we describe an approach to speech dereverberation that involves joint estimation of the dry speech signal and of the room impulse response. We explore deep learning models that apply to each task separately, and how these can be combined in a joint model with shared parameters.

研究动机与目标

• 解决在非理想声学环境中单通道语音去混响的挑战，其中混响会降低语音质量。
• 克服传统反向滤波和基于掩码方法的局限性，这些方法假设各成分独立或仅影响短时效应。
• 通过共享深度学习参数，联合估计干语音信号和房间脉冲响应（RIR），以提升性能。
• 探索联合建模是否能优于分别估计语音与RIR，利用干语音、RIR和对应混响输出的配对训练数据。

提出的方法

• 该方法使用混响语音的幅度STFT表示作为输入，并对每个STFT帧应用归一化。
• 采用U-Net架构直接估计干语音信号，训练目标是根据混响输入预测幅度谱图。
• 设计了一个独立的卷积神经网络（CNN）用于估计RIR，通过在时频网格上应用一维卷积结构来预测脉冲响应波形。
• 使用干语音、RIR和通过卷积生成的对应混响信号的配对数据，以监督方式训练模型。
• 联合训练框架允许两个任务共享参数，旨在提升泛化能力与相互性能。
• 未来工作包括引入相位信息，并使用LSTM或CRNN等序列模型，以更好地捕捉RIR的时间动态特性。

实验结果

研究问题

• RQ1 通过深度学习联合估计干语音信号与房间脉冲响应（RIR）是否能优于分别估计各成分？
• RQ2 在联合模型中引入共享参数，相较于独立模型，如何提升语音去混响的准确性？
• RQ3 为何标准卷积神经网络难以精确估计RIR，而RIR具有初始尖锐脉冲后迅速衰减的特性？
• RQ4 在U-Net基础上的直接语音估计方法，在引入相位信息或序列建模后，能多大程度上得到改进？
• RQ5 时域或复数STFT表示是否能超越仅使用幅度STFT输入，进一步提升RIR估计性能？

主要发现

• U-Net模型在从混响输入中直接估计干语音方面达到了最先进性能，优于全连接网络和Bi-GRU架构。
• 尽管Bi-GRU具备序列建模能力，但引入了显著失真，被认为不适合实际应用。
• 用于RIR估计的卷积模型生成的输出具有正确的衰减包络，但未能精确捕捉初始的尖锐脉冲，表明存在架构局限性。
• 标准CNN难以精确估计RIR，因为其需要将能量集中于极短时间窗内，而典型DNN激活函数难以捕捉此类结构。
• 作者指出，相位信息和序列建模（如LSTM或CRNN）是提升RIR估计性能的关键，未来将探索这些方向。
• 数据准备过程，包括对相似RIR进行分组并限制组大小，有助于维持训练、验证和测试集的平衡与代表性。