[论文解读] End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation

Yi Luo, Zhuo Chen+2 more|arXiv (Cornell University)|Oct 30, 2019

Speech and Audio Processing参考文献 24被引用 7

一句话总结

该论文提出了一种新型端到端模块——变换-平均-拼接（TAC），用于麦克风排列和数量不变的多通道语音分离。TAC通过共享特征变换、通道平均以及与各通道特征拼接，增强了滤波-求和网络（FaSNet），实现了全局、排列不变的处理，显著提升了在不同麦克风数量和阵列配置（包括即兴和固定几何结构）下的分离性能。

ABSTRACT

An important problem in ad-hoc microphone speech separation is how to guarantee the robustness of a system with respect to the locations and numbers of microphones. The former requires the system to be invariant to different indexing of the microphones with the same locations, while the latter requires the system to be able to process inputs with varying dimensions. Conventional optimization-based beamforming techniques satisfy these requirements by definition, while for deep learning-based end-to-end systems those constraints are not fully addressed. In this paper, we propose transform-average-concatenate (TAC), a simple design paradigm for channel permutation and number invariant multi-channel speech separation. Based on the filter-and-sum network (FaSNet), a recently proposed end-to-end time-domain beamforming system, we show how TAC significantly improves the separation performance across various numbers of microphones in noisy reverberant separation tasks with ad-hoc arrays. Moreover, we show that TAC also significantly improves the separation performance with fixed geometry array configuration, further proving the effectiveness of the proposed paradigm in the general problem of multi-microphone speech separation.

研究动机与目标

• 解决基于深度学习的端到端多通道语音分离系统在麦克风位置和数量变化时鲁棒性不足的问题。
• 克服现有端到端波束成形器对麦克风排列敏感且需要固定输入维度的局限性。
• 设计一种简单、模块化的组件，利用所有可用麦克风信号实现全局、排列不变的处理。
• 在即兴（非固定）和固定几何结构的麦克风阵列配置中均提升性能。

提出的方法

• TAC通过共享变换子模块处理每个麦克风的特征，确保通道间的参数共享。
• 将变换后的特征在通道间平均，形成全局、排列不变的表征。
• 该平均表征通过第二个子模块学习全局上下文，随后与每个单独通道的变换特征拼接。
• 拼接后的特征被送入第三个子模块，生成通道特定的输出，实现在保留全局上下文的同时进行局部决策。
• 该架构无缝集成到FaSNet框架中，替代或增强其处理模块，实现端到端、排列和数量不变的学习。
• 由于平均操作和参数共享，该方法对麦克风索引和输入维度具有不变性。

实验结果

研究问题

• RQ1 一个简单、端到端的模块能否提升多通道语音分离对麦克风排列和麦克风数量变化的鲁棒性？
• RQ2 在麦克风几何结构和数量未知的即兴麦克风阵列配置中，TAC如何提升FaSNet的性能？
• RQ3 TAC在麦克风位置已知且稳定的固定几何结构阵列设置中是否也能提升性能？
• RQ4 TAC能否缓解由预分离质量差或滤波估计中频率分辨率有限导致的性能下降？
• RQ5 TAC在波束成形滤波估计中能在多大程度上更好地利用所有麦克风的全局信息？

主要发现

• 在即兴阵列配置中，TAC显著提升了所有麦克风数量（2、4、6）下的分离性能，尤其在高重叠条件下增益最大。
• 单阶段FaSNet结合TAC的性能优于原始的两阶段FaSNet和基于TasNet的模型，即使没有预分离阶段。
• TAC在麦克风数量增加时仍保持稳定性能，避免了标准模型中常见的性能下降。
• 在固定几何结构阵列中，TAC的性能优于原始FaSNet，证明其在即兴设置之外也有效。
• TAC允许使用更小的窗口尺寸（如4 ms）而性能无损失，表明其对频率分辨率降低具有鲁棒性。
• 即使在TasNet中特征拼接导致性能下降的情况下，TAC仍能取得更优结果，凸显其在全局特征融合方面的优势。