[论文解读] RawNet: Advanced end-to-end deep neural network using raw waveforms for text-independent speaker verification

Jee-weon Jung, Hee-Soo Heo+3 more|arXiv (Cornell University)|Apr 17, 2019

Speech Recognition and Synthesis参考文献 31被引用 12

一句话总结

该论文提出RawNet，一种端到端深度神经网络，直接处理原始波形以实现与文本无关的说话人验证，采用改进的CNN-GRU架构，结合新颖的预训练方案和额外的目标函数，以提升说话人嵌入质量。该系统在VoxCeleb1数据集上实现了4.0%的等错误率（EER）——在非增强数据模型中达到最先进水平，证明了直接对原始波形建模可超越传统x-vector系统，且无需数据增强。

ABSTRACT

Recently, direct modeling of raw waveforms using deep neural networks has been widely studied for a number of tasks in audio domains. In speaker verification, however, utilization of raw waveforms is in its preliminary phase, requiring further investigation. In this study, we explore end-to-end deep neural networks that input raw waveforms to improve various aspects: front-end speaker embedding extraction including model architecture, pre-training scheme, additional objective functions, and back-end classification. Adjustment of model architecture using a pre-training scheme can extract speaker embeddings, giving a significant improvement in performance. Additional objective functions simplify the process of extracting speaker embeddings by merging conventional two-phase processes: extracting utterance-level features such as i-vectors or x-vectors and the feature enhancement phase, e.g., linear discriminant analysis. Effective back-end classification models that suit the proposed speaker embedding are also explored. We propose an end-to-end system that comprises two deep neural networks, one front-end for utterance-level speaker embedding extraction and the other for back-end classification. Experiments conducted on the VoxCeleb1 dataset demonstrate that the proposed model achieves state-of-the-art performance among systems without data augmentation. The proposed system is also comparable to the state-of-the-art x-vector system that adopts data augmentation.

研究动机与目标

• 开发一种端到端的说话人验证系统，直接使用原始波形，绕过手工设计的声学特征。
• 通过架构优化和预训练，提升基于原始波形的说话人嵌入提取性能。
• 将特征增强与嵌入提取整合到单一端到端学习过程中，消除对独立i-vector/x-vector流程的依赖。
• 评估并优化针对所提说话人嵌入量身定制的后端分类模型。
• 在无需数据增强的情况下于VoxCeleb1上实现最先进性能，从而简化并提升研究工作的可及性。

提出的方法

• 前端采用带有Leaky ReLU激活的残差块和GRU层，直接从原始波形中提取话语级说话人嵌入。
• 提出一种改进的预训练方案，以减少过拟合并提升泛化能力，替代先前工作的多步训练。
• 引入额外的目标函数，联合优化说话人嵌入提取与特征增强，将两个传统阶段合并为一个。
• 后端采用DNN分类器，通过注册与测试嵌入的逐元素相乘（concat&mul）操作，性能优于PLDA及其他DNN方法。
• 系统采用端到端的双DNN流水线：一个用于嵌入提取，另一个用于分类，结合L2正则化和AMSGrad优化。
• 模型在VoxCeleb1数据集上训练，小批量大小为102，GRU层使用0.3的循环dropout，权重衰减为$10^{-4}$。

实验结果

研究问题

• RQ1 仅使用原始波形的端到端深度神经网络能否在无需数据增强的情况下实现与文本无关的说话人验证的最先进性能？
• RQ2 架构修改与预训练方案如何影响从原始波形中提取的说话人嵌入质量？
• RQ3 额外的目标函数能否有效替代传统的特征增强步骤（如i-vector或x-vector处理）？
• RQ4 在使用基于原始波形的说话人嵌入时，哪种后端分类器架构表现最佳？
• RQ5 与现有x-vector和i-vector系统相比，该系统在鲁棒性与简洁性方面表现如何？

主要发现

• 所提出的RawNet系统在VoxCeleb1数据集上实现了4.0%的等错误率（EER），在无需数据增强的系统中创下新SOTA记录。
• 与基线CNN-LSTM系统相比，该模型将EER相对降低了46.0%，表明架构与训练优化带来了显著性能提升。
• 通过引入额外目标函数，模型能够隐式执行特征增强，无需单独的LDA或i-vector处理。
• concat&mul后端分类器通过计算注册与测试嵌入的逐元素相乘，实现了最佳性能，EER为4.0%。
• 即使在未进行数据增强的情况下，该系统也优于经过数据增强的x-vector系统，凸显了原始波形建模的有效性。
• 与基线相比，该模型实现了44.8%的相对错误率降低（RER），表明通过合理设计的直接波形建模可超越传统流水线。