[论文解读] Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization

Mufan Sang, Haoqi Li+3 more|arXiv (Cornell University)|Dec 8, 2021

Speech Recognition and Synthesis被引用 6

一句话总结

该论文提出了一种自监督说话人验证框架，采用简单的Siamese网络并引入一种新颖的自监督正则化（SSReg），仅利用正样本对，避免使用负样本对和复杂架构。结合强大的在线数据增强，SSReg在VoxCeleb1和Vox2上实现了23.4%的相对EER降低，性能优于先前方法，且模型结构更简单、更鲁棒。

ABSTRACT

Training speaker-discriminative and robust speaker verification systems without speaker labels is still challenging and worthwhile to explore. In this study, we propose an effective self-supervised learning framework and a novel regularization strategy to facilitate self-supervised speaker representation learning. Different from contrastive learning-based self-supervised learning methods, the proposed self-supervised regularization (SSReg) focuses exclusively on the similarity between the latent representations of positive data pairs. We also explore the effectiveness of alternative online data augmentation strategies on both the time domain and frequency domain. With our strong online data augmentation strategy, the proposed SSReg shows the potential of self-supervised learning without using negative pairs and it can significantly improve the performance of self-supervised speaker representation learning with a simple Siamese network architecture. Comprehensive experiments on the VoxCeleb datasets demonstrate that our proposed self-supervised approach obtains a 23.4% relative improvement by adding the effective self-supervised regularization and outperforms other previous works.

研究动机与目标

• 开发一种自监督说话人验证系统，能够在不依赖大规模标注数据的情况下学习判别性说话人嵌入。
• 解决仅使用无标签数据训练鲁棒说话人表征的挑战，同时最小化对复杂组件（如动量编码器或大型负样本队列）的依赖。
• 探索仅使用正样本对的正则化在自监督学习中的有效性，以提升说话人验证性能。
• 通过结合强在线数据增强策略与新颖的正则化机制，进一步提升性能。

提出的方法

• 提出一种基于Siamese网络架构的自监督学习框架，将同一说话人的随机截取语音片段作为正样本对进行处理。
• 引入自监督正则化（SSReg），一种新颖的损失函数，通过最大化正样本对潜在表征之间的相似度，而无需使用负样本对。
• 采用强在线数据增强策略，结合混响、加性噪声、SpecAugment和速度扰动，以增强模型鲁棒性。
• 使用可学习权重λ来平衡自监督对比损失与SSReg损失，联合优化目标函数。
• 采用端到端方式训练模型，结合对比学习与SSReg，重点提升说话人内部的一致性。
• 避免使用对抗训练、动量编码器、动态队列或聚类生成伪标签，从而简化训练流程。

实验结果

研究问题

• RQ1 是否可以通过仅使用正样本对，而不依赖负样本，显著提升自监督说话人表征学习？
• RQ2 与对比学习方法相比，仅使用SSReg的简单Siamese网络在说话人验证中的有效性如何？
• RQ3 不同在线数据增强策略对自监督说话人嵌入性能的影响是什么？
• RQ4 结合SSReg的轻量级架构是否能超越使用动量编码器或大型负样本队列的复杂模型？

主要发现

• 所提方法在VoxCeleb1测试集上达到6.99%的EER，相比无正则化的基线模型相对降低23.4%。
• 仅使用SSReg即可将EER降低至14.50%，无需任何对比损失，证明了仅使用正样本对正则化的有效性。
• 当λ = 0.08时性能最佳，EER为6.99%，minDCF为0.434，优于MoCo+WavAug（8.63% EER）和MoCo+WavAug（ProtoNCE）（8.23% EER）。
• 该方法在相对EER降低方面优于SOTA方法AP+AAT、AP+Ch、Disent、CDDL、GCL和i-vector，降幅达15.6%至19.2%。
• R+N+SpecAug+Speed增强组合表现最佳，在Vox1上达到9.22% EER，凸显多样化数据增强的重要性。
• 消融实验表明，即使不使用动量编码器或大型负样本队列，SSReg依然有效，证明其鲁棒性与简洁性。