[论文解读] Augmentation adversarial training for self-supervised speaker recognition

Jaesung Huh, Hee Soo Heo+3 more|arXiv (Cornell University)|Jul 23, 2020

Speech Recognition and Synthesis被引用 12

一句话总结

本文提出增强对抗训练（AAT），一种自监督方法，通过训练模型对数据增强（模拟信道变化）保持不变，同时仍具备区分说话人身份的能力，从而提升说话人识别性能。该方法实现了最先进性能，在VoxCeleb1上将EER降低至8.65%，超越所有先前的自监督方法，甚至超过人类水平表现。

ABSTRACT

The goal of this work is to train robust speaker recognition models without speaker labels. Recent works on unsupervised speaker representations are based on contrastive learning in which they encourage within-utterance embeddings to be similar and across-utterance embeddings to be dissimilar. However, since the within-utterance segments share the same acoustic characteristics, it is difficult to separate the speaker information from the channel information. To this end, we propose augmentation adversarial training strategy that trains the network to be discriminative for the speaker information, while invariant to the augmentation applied. Since the augmentation simulates the acoustic characteristics, training the network to be invariant to augmentation also encourages the network to be invariant to the channel information in general. Extensive experiments on the VoxCeleb and VOiCES datasets show significant improvements over previous works using self-supervision, and the performance of our self-supervised models far exceed that of humans.

研究动机与目标

• 开发一种自监督说话人识别方法，使其在无说话人标签的情况下，能够在不同声学环境中实现稳健泛化。
• 解决自监督学习中的信道可变性问题，即数据增强可能无意中将环境特征编码进说话人嵌入。
• 在强制对噪声和房间脉冲响应（RIR）等无关变化保持不变的同时，提升说话人的可区分性。
• 在VoxCeleb1和VOiCES等标准基准上超越现有自监督模型，尤其在领域偏移和噪声条件下表现更优。

提出的方法

• 该方法采用对比学习框架，从同一语音的两个非重叠片段中采样作为正样本对。
• 对两个片段均应用数据增强（如加性噪声、RIR），以模拟多样的信道条件。
• 引入增强分类器以预测所应用的增强类型，并使用梯度反转层对说话人编码器进行对抗性训练，以最小化该分类器的准确率。
• 说话人嵌入提取器被训练为生成对增强保持不变的嵌入，从而隐式地对信道效应保持不变。
• 训练目标结合了对比损失（如角度原型损失）与对抗损失，后者惩罚模型学习到与增强相关的特征。
• AAT损失权重 $\lambda$ 经调优以平衡说话人可区分性与增强不变性。

实验结果

研究问题

• RQ1 在自监督学习中，使用数据增强进行对抗训练能否提升说话人识别的鲁棒性？
• RQ2 学习对数据增强的不变性是否能带来对真实世界信道变化（如噪声和混响）的改进？
• RQ3 所提出的方法是否能在不使用说话人标签的情况下，在VoxCeleb1和VOiCES上实现最先进性能？
• RQ4 AAT损失权重 $\lambda$ 如何影响说话人可区分性与增强不变性之间的权衡？
• RQ5 使用AAT训练的模型是否能在未见领域（如VOiCES数据集）上实现更好的泛化能力？

主要发现

• 采用AAT与角度原型损失的模型在VoxCeleb1上达到8.65%的EER，显著优于所有先前的自监督方法。
• 在VOiCES数据集上，AAT训练的模型在 $\lambda=10$ 时达到4.96%的EER，表现出对未见领域的强大泛化能力。
• VoxCeleb1上的最优AAT损失权重为 $\lambda=3$，VOiCES上为 $\lambda=10$，表明超参数具有领域依赖性。
• AAT在所有增强设置下（包括噪声和RIR）均持续降低EER与最小检测成本（MinDCF）。
• 自监督模型的性能在EER与MinDCF指标上已超过人类水平。
• 消融实验表明，即使在使用激进数据增强时，AAT仍能提升性能，证明其在增强鲁棒性方面的有效性。