[论文解读] Improved RawNet with Feature Map Scaling for Text-independent Speaker Verification using Raw Waveforms

Jee-weon Jung, Seung-bin Kim+3 more|arXiv (Cornell University)|Apr 1, 2020

Speech Recognition and Synthesis参考文献 28被引用 7

一句话总结

本论文为RawNet提出特征图缩放（FMS）方法，通过可学习的Sigmoid基础缩放向量自适应缩放卷积特征图，提升文本无关说话人验证性能。该方法在特征图的滤波器维度上应用乘法、加法或两者结合的缩放操作，以突出判别性滤波器，在VoxCeleb1数据集上将原始RawNet的等错误率（EER）降低48.33%（即减半），并在扩展协议下略胜于当前最先进系统。

ABSTRACT

Recent advances in deep learning have facilitated the design of speaker verification systems that directly input raw waveforms. For example, RawNet extracts speaker embeddings from raw waveforms, which simplifies the process pipeline and demonstrates competitive performance. In this study, we improve RawNet by scaling feature maps using various methods. The proposed mechanism utilizes a scale vector that adopts a sigmoid non-linear function. It refers to a vector with dimensionality equal to the number of filters in a given feature map. Using a scale vector, we propose to scale the feature map multiplicatively, additively, or both. In addition, we investigate replacing the first convolution layer with the sinc-convolution layer of SincNet. Experiments performed on the VoxCeleb1 evaluation dataset demonstrate the effectiveness of the proposed methods, and the best performing system reduces the equal error rate by half compared to the original RawNet. Expanded evaluation results obtained using the VoxCeleb1-E and VoxCeleb-H protocols marginally outperform existing state-of-the-art systems.

研究动机与目标

• 通过直接处理原始波形而非声学特征工程，提升RawNet在文本无关说话人验证中的性能。
• 解决现有注意力机制因使用Softmax进行独占选择而可能过度丢弃判别性信息的局限性。
• 通过引入可学习的Sigmoid基础缩放向量，独立调制滤波器响应，增强特征图表示能力。
• 探究用sinc-卷积层替换第一卷积层对更好建模频率响应的有效性。
• 评估在原始波形处理背景下，用自注意力池化机制替代GRU聚合层的影响。

提出的方法

• 提出特征图缩放（FMS）机制，利用带有Sigmoid激活的可学习缩放向量，沿滤波器维度调制特征图。
• 通过三种配置应用FMS：乘法缩放、加法缩放，以及两者顺序应用，以增强判别能力。
• 在每个残差块之后应用FMS，以在序列聚合前优化帧级表示。
• 用SincNet中的sinc-卷积层替换RawNet中的第一卷积层，以更好地捕捉原始波形中的频带特定模式。
• 评估使用自注意力池化和多头自注意力池化替代GRU层对话语级表征学习的影响。
• 使用三元组损失进行模型训练，并通过VoxCeleb1及扩展协议上的等错误率（EER）评估性能。

实验结果

研究问题

• RQ1 与标准注意力机制相比，基于Sigmoid的可学习特征图滤波器缩放是否能提升说话人验证性能？
• RQ2 将乘法和加法特征图缩放结合使用，是否能产生优于单独使用任一方式的判别性表征？
• RQ3 用sinc-卷积层替换初始卷积层是否能提升说话人验证中原始波形的建模效果？
• RQ4 在原始波形处理背景下，自注意力池化是否优于基于GRU的聚合方式？
• RQ5 在VoxCeleb1-E和VoxCeleb1-H等扩展评估协议下，所提出的基于FMS的系统与最先进方法相比表现如何？

主要发现

• 所提出的FMS方法相比原始RawNet将等错误率（EER）降低了50%，在标准VoxCeleb1评估协议下达到2.46%的EER。
• 将乘法和加法FMS按顺序应用（系统#11）性能最佳，EER为2.56%。
• 将第一卷积层替换为sinc-卷积层后性能进一步提升，EER额外降低3.12%（系统#15），该模型称为RawNet2。
• RawNet2在VoxCeleb1-E协议下达到2.87%的EER，在VoxCeleb1-H协议下达到4.89%的EER，略胜于现有最先进系统。
• 自注意力池化和多头自注意力池化未能超越原始GRU-based聚合方式的性能，表明GRU在该架构中仍更有效。
• 挤压-激励模块和CBAM模块仅带来微小改进，而基于FMS的方法显著优于它们，证明了所提缩放机制的有效性。