[论文解读] End-to-End Neural Speaker Diarization with Self-attention

Yusuke Fujita, Naoyuki Kanda+4 more|arXiv (Cornell University)|Sep 13, 2019

Speech Recognition and Synthesis参考文献 53被引用 12

一句话总结

本文提出自注意力端到端神经说话人分割（SA-EEND），在端到端模型中用自注意力机制替代BLSTM，直接预测说话人轮换。该方法通过建模全局说话人特征并更有效地处理重叠情况，在模拟和真实数据集（包括CALLHOME和CSJ）上实现了SOTA性能，显著降低了DER。

ABSTRACT

Speaker diarization has been mainly developed based on the clustering of speaker embeddings. However, the clustering-based approach has two major problems; i.e., (i) it is not optimized to minimize diarization errors directly, and (ii) it cannot handle speaker overlaps correctly. To solve these problems, the End-to-End Neural Diarization (EEND), in which a bidirectional long short-term memory (BLSTM) network directly outputs speaker diarization results given a multi-talker recording, was recently proposed. In this study, we enhance EEND by introducing self-attention blocks instead of BLSTM blocks. In contrast to BLSTM, which is conditioned only on its previous and next hidden states, self-attention is directly conditioned on all the other frames, making it much suitable for dealing with the speaker diarization problem. We evaluated our proposed method on simulated mixtures, real telephone calls, and real dialogue recordings. The experimental results revealed that the self-attention was the key to achieving good performance and that our proposed method performed significantly better than the conventional BLSTM-based method. Our method was even better than that of the state-of-the-art x-vector clustering-based method. Finally, by visualizing the latent representation, we show that the self-attention can capture global speaker characteristics in addition to local speech activity dynamics. Our source code is available online at https://github.com/hitachi-speech/EEND.

研究动机与目标

• 为解决聚类方法在说话人分割中的局限性，即无法直接最小化分割错误，且在说话人重叠情况下表现不佳。
• 开发一种端到端神经分割模型，绕过聚类步骤，直接优化分割性能。
• 探究自注意力机制是否能提升说话人分割在可变重叠条件下的鲁棒性与准确性。
• 分析自注意力机制在潜在表征中是否能同时捕捉全局说话人特征与局部语音活动动态。

提出的方法

• 模型采用基于自注意力的编码器-解码器架构，直接输出每帧的联合说话人活动，绕过聚类步骤。
• 采用无排列的损失函数，实现端到端训练，并最小化分割错误。
• 多头自注意力通过计算所有帧之间的成对相似性，实现超越局部递归性的全局上下文建模。
• 模型在具有不同重叠比例的模拟混合语音上进行训练，并在真实数据集（包括CALLHOME和CSJ）上进行评估。
• 应用领域自适应以提升模型在真实世界数据上的泛化能力，减轻对模拟训练条件的过拟合。
• 通过可视化潜在表征分析注意力头行为，区分说话人身份学习与时间特征学习。

实验结果

研究问题

• RQ1 在可变说话人重叠条件下，基于自注意力的端到端模型是否能优于基于BLSTM的EEND？
• RQ2 自注意力机制是否能捕捉超越局部语音动态的全局说话人特征？
• RQ3 所提出的SA-EEND在真实世界音频上与SOTA的x向量聚类系统相比表现如何？
• RQ4 领域自适应在多大程度上提升了模型在真实测试集上的泛化能力？
• RQ5 注意力权重的可视化是否能证实部分头学习了说话人特异的全局模式，而另一些头则检测语音活动？

主要发现

• 在所有模拟混合语音上，SA-EEND的分割错误率（DER）显著低于基于BLSTM的EEND，尤其在高重叠条件（β=2）下提升最大。
• 在真实数据集上，SA-EEND在模拟数据上训练后，在CSJ上优于x向量聚类方法，在CALLHOME上表现相当，表明其在无领域自适应下具备强大泛化能力。
• 经过领域自适应后，SA-EEND在CALLHOME上的性能甚至优于x向量系统，显著降低了混淆与漏检错误。
• 可视化结果表明，部分自注意力头通过长距离帧相似性学习了说话人依赖的全局模式，而另一些头则作为与位置无关的滤波器用于语音活动检测。
• 自注意力机制提升了对可变重叠比例的鲁棒性，相比BLSTM-EEND，其在低重叠测试集上的DER退化更小。
• 当在真实数据上训练时，模型在真实数据上的表现进一步提升，尽管由于真实数据有限且重叠比例低，其在模拟混合语音上存在过拟合问题。