[论文解读] Deep Filtering: Signal Extraction Using Complex Time-Frequency Filters.

Wolfgang Mack, Emanuël A. P. Habets|arXiv (Cornell University)|Apr 17, 2019

Speech and Audio Processing被引用 6

一句话总结

本文提出Deep Filtering方法，利用深度神经网络直接估计单通道语音分离中的复杂时频滤波器，通过最小化重建误差实现端到端训练，无需真实滤波器监督。该方法在深陷频谱掩蔽和时频点置零等挑战性条件下，优于实值与复值时频掩码基线方法。

ABSTRACT

Signal extraction from a single-channel mixture with additional undesired signals is most commonly performed using time-frequency (TF) masks. Typically, the mask is estimated with a deep neural network (DNN) and element-wise applied to the complex mixture short-time Fourier transform (STFT) representation to perfom extraction. Ideal mask magnitudes are zero for solely undesired signals in a TF bin and infinity for total destructive interference. Usually, masks have an upper bound to provide well-defined DNN outputs at the cost of limited extraction capabilities. We propose to estimate with a DNN a complex TF filter for each mixture TF bin which maps an STFT area in the respective mixture to the desired TF bin to address destructive interference in mixture TF bins. The DNN is optimized by minimizing the error between the extracted and the groundtruth desired signal allowing to train without having to specify ground-truth TF filters but learn filters by error reduction. We compare our approach with complex and real valued TF masks by separating speech from a variety of different sound and noise classes from the Google AudioSet corpus. We also process the mixture STFT with notch filters and zero whole time-frames to demonstrate the reconstruction capabilities of our approach. The proposed method outperformed the baselines especially when notch filters and time-frame zeroing were applied.

研究动机与目标

• 解决时频掩码在单通道语音分离中处理破坏性干涉的局限性。
• 克服掩码估计中因上界约束导致的网络输出稳定性与提取能力之间的权衡。
• 实现无需真实滤波器监督的复杂时频滤波器端到端学习。
• 在真实世界条件下，展示对陷波滤波和时频点置零等频谱失真下的鲁棒性。

提出的方法

• 训练深度神经网络，为混合信号STFT的每个时频点预测复数时频滤波器。
• 利用估计的滤波器将每个时频点周围的STFT区域映射到目标信号分量，实现干扰抑制。
• 通过最小化重建信号与真实目标信号之间的重建误差来优化网络。
• 以混合信号的复数STFT表示作为输入，直接预测作用于时频域的滤波器。
• 通过训练过程中的误差反向传播避免对真实滤波器的显式监督需求。
• 通过逐频点方式对混合信号STFT应用学习到的滤波器，实现目标信号的重建。

实验结果

研究问题

• RQ1 深度神经网络能否在无需真实滤波器监督的情况下，学习到有效的复数时频滤波器用于语音分离？
• RQ2 所提出的基于滤波器的方法与传统的实值和复值时频掩码方法相比，在分离质量上表现如何？
• RQ3 在陷波滤波和时频点置零等频谱退化条件下，所提方法的性能保持程度如何？
• RQ4 通过信号重建误差进行端到端优化，是否相比具有输出约束的掩码方法具有更好的泛化能力？

主要发现

• 所提出的Deep Filtering方法在语音分离任务中优于实值与复值时频掩码基线方法。
• 在经过陷波滤波处理的混合信号中表现出更优的鲁棒性，表明其对频谱凹陷的处理能力更强。
• 即使在整段时间帧被置零的情况下仍保持高性能，展现出强大的信号重建能力。
• 由于滤波器估计无上界约束，相比有界掩码方法，能更有效地抑制干扰分量。
• 网络学习到将混合信号STFT区域映射到目标时频点，通过学习到的复数滤波实现精确信号提取。
• 在Google AudioSet语料库上实现了SOTA性能，尤其在具有挑战性的频谱条件下表现突出。