[论文解读] Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?

Qiongqiong Wang, Koji Okabe+3 more|arXiv (Cornell University)|Sep 25, 2018

Speech Recognition and Synthesis被引用 7

一句话总结

本文研究了在深度说话人嵌入网络中训练的注意力机制是否可以解耦并应用于其他说话人嵌入系统（如 i-vector 和非注意力 DNN）。结果表明，从一个网络中学到的注意力权重具有良好的泛化能力，在应用于 i-vector 系统时，EER 降低 9.0%，min C_primary 降低 3.8%；当与软语音活动检测（VAD）结合时，性能进一步提升。

ABSTRACT

This paper presents an experimental study on deep speaker embedding with an attention mechanism that has been found to be a powerful representation learning technique in speaker recognition. In this framework, an attention model works as a frame selector that computes an attention weight for each frame-level feature vector, in accord with which an utterancelevel representation is produced at the pooling layer in a speaker embedding network. In general, an attention model is trained together with the speaker embedding network on a single objective function, and thus those two components are tightly bound to one another. In this paper, we consider the possibility that the attention model might be decoupled from its parent network and assist other speaker embedding networks and even conventional i-vector extractors. This possibility is demonstrated through a series of experiments on a NIST Speaker Recognition Evaluation (SRE) task, with 9.0% EER reduction and 3.8% min_Cprimary reduction when the attention weights are applied to i-vector extraction. Another experiment shows that DNN-based soft voice activity detection (VAD) can be effectively combined with the attention mechanism to yield further reduction of minCprimary by 6.6% and 1.6% in deep speaker embedding and i-vector systems, respectively.

研究动机与目标

• 研究是否可以将深度说话人嵌入网络中训练的注意力机制解耦并应用于其他说话人嵌入系统。
• 评估注意力权重在不同特征表示（如 i-vector 和非注意力 DNN）之间的泛化能力。
• 探索注意力机制与软语音活动检测（VAD）之间的协同作用，以提升说话人识别性能。
• 确定注意力权重是否代表通用的帧重要性，还是与父网络特定的帧级特征紧密耦合。

提出的方法

• 在深度说话人嵌入网络中训练注意力机制，其中注意力权重基于每帧的帧级特征向量计算，并用于计算话语级表征的加权平均。
• 将预训练的注意力模型从其父网络中解耦，并将其注意力权重应用于非注意力 DNN 或 i-vector 提取器的帧级特征。
• 在池化层中应用注意力权重，通过加权平均计算帧级特征的聚合，替代标准的统计池化或 i-vector 提取。
• 通过将注意力权重 αₜ 与语音后验概率 qₜ 相乘，形成联合加权因子，以改进帧的选择，实现注意力权重与软 VAD 的集成。
• 使用在 SRE04-10、Switchboard 和 Fisher 数据上训练的同一注意力模型，生成注意力权重，用于评估在域外数据（包括粤语和他加禄语语音）上的表现。
• 在域外和域内设置下，使用 Kaldi 的无监督域自适应方法微调 PLDA，以提升泛化能力并验证基于注意力的池化方法的鲁棒性。

实验结果

研究问题

• RQ1 在深度说话人嵌入网络中学习到的注意力权重是否可以有效迁移至非注意力说话人嵌入系统（如 i-vector）？
• RQ2 注意力机制学习到的帧重要性是否特定于其父网络的帧级特征，还是可在不同特征提取器之间泛化？
• RQ3 将注意力权重与软语音活动检测（VAD）结合，是否能进一步提升 x-vector 和 i-vector 系统中的说话人识别性能？
• RQ4 域偏移（如语言和信道差异）如何影响注意力权重的泛化能力？域自适应能否增强其鲁棒性？

主要发现

• 将注意力机制从其父网络中解耦，并将其权重应用于非注意力 DNN 或 i-vector 系统，仍能带来显著性能提升，EER 相对降低 9.0%，min C_primary 降低 3.8%。
• 注意力权重在不同特征表示之间具有良好的泛化能力，表明其捕捉的是通用的帧重要性，而非与特定网络内部特征紧密耦合。
• 将注意力权重与软 VAD 结合可进一步提升性能，在 x-vector 系统中 min C_primary 降低 6.6%，在 i-vector 系统中降低 1.6%。
• 使用无标签的 SRE’16 数据进行域自适应，显著提升了所有系统的表现，且在域外系统中观察到的趋势在域内系统中依然成立。
• 最佳性能通过结合域自适应、注意力权重和软 VAD 实现，在域内设置下，S2’ 的 EER 达到 7.85%，min C_primary 为 0.620。
• 即使应用于 i-vector 系统，来自基于 DNN 的说话人嵌入模型的注意力权重仍使 EER 降低 9.0%，min C_primary 降低 3.8%，证明了其强大的泛化能力。