[论文解读] ResNeXt and Res2Net Structures for Speaker Verification

Tianyan Zhou, Yong Zhao+1 more|arXiv (Cornell University)|Jul 6, 2020

Speech Recognition and Synthesis参考文献 20被引用 13

一句话总结

本文提出将ResNeXt和Res2Net架构整合至与文本无关的说话人验证系统中，以增强表征能力。通过引入残基数（ResNeXt）和尺度（Res2Net）作为超越深度和宽度的额外维度，模型在短语音和不匹配条件下的性能显著提升，其中Res2Net在VoxCeleb1数据集上将EER相对降低18.5%。

ABSTRACT

The ResNet-based architecture has been widely adopted to extract speaker embeddings for text-independent speaker verification systems. By introducing the residual connections to the CNN and standardizing the residual blocks, the ResNet structure is capable of training deep networks to achieve highly competitive recognition performance. However, when the input feature space becomes more complicated, simply increasing the depth and width of the ResNet network may not fully realize its performance potential. In this paper, we present two extensions of the ResNet architecture, ResNeXt and Res2Net, for speaker verification. Originally proposed for image recognition, the ResNeXt and Res2Net introduce two more dimensions, cardinality and scale, in addition to depth and width, to improve the model's representation capacity. By increasing the scale dimension, the Res2Net model can represent multi-scale features with various granularities, which particularly facilitates speaker verification for short utterances. We evaluate our proposed systems on three speaker verification tasks. Experiments on the VoxCeleb test set demonstrated that the ResNeXt and Res2Net can significantly outperform the conventional ResNet model. The Res2Net model achieved superior performance by reducing the EER by 18.5% relative. Experiments on the other two internal test sets of mismatched conditions further confirmed the generalization of the ResNeXt and Res2Net architectures against noisy environment and segment length variations.

研究动机与目标

• 通过在ResNet基础上引入超越深度和宽度的新架构维度，提升说话人验证性能。
• 探究ResNeXt的残基数与Res2Net的尺度是否能提升说话人嵌入提取中的表征学习能力。
• 评估在短语音、噪声环境及麦克风距离变化等不匹配条件下的泛化能力。
• 通过类激活映射（CAM）可视化分析模型鲁棒性与特征关注机制。
• 展示多尺度与分组卷积学习在说话人验证任务中的有效性。

提出的方法

• 采用基于ResNet的说话人验证基线模型，并对输入特征进行语音段级均值归一化。
• 用使用分组卷积以增加残基数的ResNeXt模块替代标准残差块，实现并行变换路径。
• 集成分层堆叠具有可变感受野的残差连接的Res2Net模块，以增强多尺度特征表征能力。
• 应用注意力池化层，从可变长度帧级表示生成固定长度的语音段级嵌入。
• 使用说话人判别性损失准则进行模型训练，以优化嵌入质量。
• 利用Grad-CAM可视化学习到的注意力图，以解释模型在干净与噪声环境下对语音相关区域的关注情况。

实验结果

研究问题

• RQ1 与标准ResNet中通过增加深度和宽度相比，ResNeXt中增加残基数是否能提升说话人验证性能？
• RQ2 Res2Net中的尺度维度是否显著增强表征能力，特别是在短语音场景下？
• RQ3 ResNeXt与Res2Net在噪声、短段语音及录音距离变化等不匹配条件下的泛化能力如何？
• RQ4 所提出的模型是否如注意力图可视化所示，学习到更鲁棒且更具判别性的特征？
• RQ5 Res2Net的性能增益是否在具有不同声学条件和段长的多样化测试集上保持一致？

主要发现

• 在VoxCeleb1测试集上，Res2Net相比ResNet基线将EER相对降低18.5%（从1.78%降至1.45%）。
• 在短语音（2–4秒）场景下，Res2Net相比ResNet分别实现17.6%（2秒）、19.0%（3秒）和13.7%（4秒）的EER相对降低，展现出在短时语音上的优异性能。
• 在包含可变段长的MS-SV测试集上，Res2Net相比ResNet实现4.4%的绝对EER降低与8.3%的相对EER降低。
• 在内容不匹配且存在噪声的文本依赖型Cortana测试集中，Res2Net实现4.5%的相对EER降低（从4.40%降至4.20%），优于ResNet与ResNeXt。
• Grad-CAM可视化显示，Res2Net更关注语音相关区域，并在噪声环境下保持稳定的注意力分布，表明其具备鲁棒的特征学习能力。
• ResNeXt表现出一致但更为温和的性能提升，而Res2Net的尺度感知架构在处理短时与噪声输入方面尤为有效。