[论文解读] Attention-based multi-channel speaker verification with ad-hoc microphone arrays

Chengdong Liang, Junqi Chen+2 more|arXiv (Cornell University)|Jul 1, 2021

Speech and Audio Processing参考文献 29被引用 6

一句话总结

本文提出一种基于注意力机制的多通道说话人验证系统，用于即兴麦克风阵列，通过残差自注意力进行通道间处理并结合全局融合，实现对麦克风数量或排列方式的独立鲁棒性能。通过用 sparsemax 替代 softmax 以抑制噪声通道，该方法在模拟数据上相较最优基准系统实现 36.2% 的相对 EER 降低，在半真实数据上实现超过 30% 的降低。

ABSTRACT

Recently, ad-hoc microphone array has been widely studied. Unlike traditional microphone array settings, the spatial arrangement and number of microphones of ad-hoc microphone arrays are not known in advance, which hinders the adaptation of traditional speaker verification technologies to ad-hoc microphone arrays. To overcome this weakness, in this paper, we propose attention-based multi-channel speaker verification with ad-hoc microphone arrays. Specifically, we add an inter-channel processing layer and a global fusion layer after the pooling layer of a single-channel speaker verification system. The inter-channel processing layer applies a so-called residual self-attention along the channel dimension for allocating weights to different microphones. The global fusion layer integrates all channels in a way that is independent to the number of the input channels. We further replace the softmax operator in the residual self-attention with sparsemax, which forces the channel weights of very noisy channels to zero. Experimental results with ad-hoc microphone arrays of over 30 channels demonstrate the effectiveness of the proposed methods. For example, the multi-channel speaker verification with sparsemax achieves an equal error rate (EER) of over 20% lower than oracle one-best system on semi-real data sets, and over 30% lower on simulation data sets, in test scenarios with both matched and mismatched channel numbers.

研究动机与目标

• 解决远场场景下麦克风阵列配置未知时的说话人验证挑战。
• 利用即兴麦克风阵列的多通道音频提升在噪声和混响环境中的鲁棒性。
• 开发一种对麦克风数量和排列顺序不变的方法。
• 在缺乏麦克风几何结构或信号质量先验知识的前提下，实现有效的通道加权与融合。
• 通过注意力机制学习最优通道贡献，减少对最优通道选择基准的依赖。

提出的方法

• 引入基于残差自注意力的通道间处理层，以学习各麦克风之间的通道特定权重。
• 采用基于平均池化的全局融合层，聚合各通道特征，确保对通道数量的不变性。
• 将自注意力中的标准 softmax 替换为 sparsemax，使噪声或无信息通道的权重强制为零。
• 采用两阶段训练策略：首先在干净数据上预训练单通道 ASV，然后在即兴数据上微调多通道模型。
• 使用 40 维梅尔倒谱倒谱图（Mel filterbanks），结合实例归一化与随机 2 秒裁剪进行数据增强。
• 通过每句话取五个 4 秒裁剪片段，计算 25 对相似度得分，最终得到平均得分。

实验结果

研究问题

• RQ1 基于注意力机制的多通道 ASV 系统能否在无几何先验知识的情况下，有效利用未知麦克风阵列？
• RQ2 sparsemax 注意力相较于标准 softmax，在抑制噪声或无信息麦克风通道方面表现如何？
• RQ3 所提方法在通道数量不匹配场景（如 20 与 30 或 40 通道）下的泛化能力如何？
• RQ4 多通道系统是否优于选择最近麦克风的最优基准系统？
• RQ5 在具有高混响与噪声的现实半真实条件下，模型性能如何？

主要发现

• 在 Libri-adhoc-simu 数据集上，采用 sparsemax 的多通道 ASV 在匹配的 20 通道场景下，相较最优基准系统实现 36.2% 的相对 EER 降低。
• 在同一数据集上，与使用 softmax 的模型相比，sparsemax 模型在匹配的 20 通道测试中实现 6.2% 的相对 EER 降低。
• 在半真实的 Libri-adhoc40 数据集上，sparsemax 基础模型在 20 通道测试场景下相较最优基准系统实现 35.3% 的相对 EER 降低。
• 在半真实数据集的所有测试场景中，sparsemax 模型相较 softmax 版本实现 3% 的相对 EER 降低。
• 在通道数量不匹配的场景（如 30 或 40 通道）下，泛化性能得到提升，表明对通道数量变化具有鲁棒性。
• 该系统在模拟与半真实数据中均优于最优基准系统，证明了学习通道选择相较于固定选择的价值。