[论文解读] Enhancing End-to-End Multi-channel Speech Separation via Spatial Feature Learning

Rongzhi Gu, Shixiong Zhang+6 more|arXiv (Cornell University)|Mar 9, 2020

Speech and Audio Processing参考文献 17被引用 4

一句话总结

该论文提出了一种端到端的多通道语音分离模型，通过二维卷积层直接从原始波形中学习空间特征，计算通道间的卷积差异（ICD），作为手工设计的通道间相位差（IPD）的替代方法。基于ICD的模型在模拟的WSJ0 2-混合数据集上相比IPD-based模型在SI-SDRi上提升了10.4%，通过端到端优化空间线索，展现出更优的性能。

ABSTRACT

Hand-crafted spatial features (e.g., inter-channel phase difference, IPD) play a fundamental role in recent deep learning based multi-channel speech separation (MCSS) methods. However, these manually designed spatial features are hard to incorporate into the end-to-end optimized MCSS framework. In this work, we propose an integrated architecture for learning spatial features directly from the multi-channel speech waveforms within an end-to-end speech separation framework. In this architecture, time-domain filters spanning signal channels are trained to perform adaptive spatial filtering. These filters are implemented by a 2d convolution (conv2d) layer and their parameters are optimized using a speech separation objective function in a purely data-driven fashion. Furthermore, inspired by the IPD formulation, we design a conv2d kernel to compute the inter-channel convolution differences (ICDs), which are expected to provide the spatial cues that help to distinguish the directional sources. Evaluation results on simulated multi-channel reverberant WSJ0 2-mix dataset demonstrate that our proposed ICD based MCSS model improves the overall signal-to-distortion ratio by 10.4% over the IPD based MCSS model.

研究动机与目标

• 解决手工设计的空间特征（如IPD）与数据驱动的端到端语音分离框架之间的数据不匹配问题。
• 开发一种完全端到端的MCSS系统，直接从原始波形中学习空间线索，无需依赖固定预计算的特征。
• 通过整合学习到的空间表征，克服远场语音分离中相位重建和混响效应的限制。
• 设计一种新型的空间特征学习机制——通道间卷积差异（ICD），并将其与分离目标联合优化。

提出的方法

• 使用二维卷积层在多个麦克风通道上学习时域空间滤波器，实现从原始波形出发的自适应空间滤波。
• 设计专用的conv2d核以计算通道间卷积差异（ICD），其数学形式受IPD启发，但通过端到端方式学习。
• 编码器-解码器结构用可学习滤波器替代STFT和iSTFT，保持时间对齐并支持端到端训练。
• ICD通过窗函数 $ w $ 计算，初始设为-1以实现精确差分计算，并使其可学习，以适应最优空间表征。
• 使用尺度不变信噪比（SI-SDR）作为优化目标进行训练，并采用置换不变训练以处理说话人标签模糊问题。
• 将ICD与编码器输出及分离模块集成，使网络能够联合优化语音分离与空间特征学习。

实验结果

研究问题

• RQ1 通过二维卷积层直接从原始波形中计算的可学习空间特征，是否能在端到端多通道语音分离中优于手工设计的通道间相位差（IPD）？
• RQ2 当与语音分离目标端到端联合优化时，所提出的通道间卷积差异（ICD）机制是否能提供比IPD更有效的空间线索？
• RQ3 ICD核的初始化方式与可学习性如何影响分离性能？
• RQ4 低频区域中ICD的贡献如何？它们是否与IPD-based特征互补？
• RQ5 ICD与IPD的结合是否能进一步提升分离性能，特别是在角度分离较难的场景下？

主要发现

• 基于ICD的MCSS模型在模拟的WSJ0 2-混合数据集上相比IPD-based模型在SI-SDRi上实现了10.4%的相对提升。
• 采用33个滤波器并使用可学习的ICD核初始化的模型达到12.3 dB的SI-SDRi，优于基线SC-Conv-TasNet（9.1 dB）和IPD-based模型（11.5 dB）。
• 基于ICD的模型相比IPD-based模型提升了0.4 dB，表明数据驱动的空间特征可能比手工设计的特征更有效。
• 在小角度差异（<15°）条件下，ICD-based模型性能显著下降，可能由于该范围训练数据不足。
• 将ICD与cosIPD和sinIPD结合可获得最佳性能（12.4 dB SI-SDRi），表明两种特征提供了互补的空间信息。
• 对学习到的滤波器进行可视化显示，ICD主要对低频分量有响应，表明其捕获了与IPD互补的空间线索。