[论文解读] Encoder-Decoder Based Attractor Calculation for End-to-End Neural Diarization.

Shota Horiguchi, Yusuke Fujita+3 more|arXiv (Cornell University)|Jun 20, 2021

Speech Recognition and Synthesis参考文献 54被引用 4

一句话总结

该论文提出了一种基于编码器-解码器的吸引子计算（EDA）模块，用于端到端神经说话人分离（EEND），通过LSTM序列到序列模型迭代生成与说话人相关的吸引子，实现灵活的说话人数量估计。该方法提升了重叠语音的处理能力，并在模拟和真实数据集上优于流水线方法。

ABSTRACT

This paper investigates an end-to-end neural diarization (EEND) method for an unknown number of speakers. In contrast to the conventional pipeline approach to speaker diarization, EEND methods are better in terms of speaker overlap handling. However, EEND still has a disadvantage in that it cannot deal with a flexible number of speakers. To remedy this problem, we introduce encoder-decoder-based attractor calculation module (EDA) to EEND. Once frame-wise embeddings are obtained, EDA sequentially generates speaker-wise attractors on the basis of a sequence-to-sequence method using an LSTM encoder-decoder. The attractor generation continues until a stopping condition is satisfied; thus, the number of attractors can be flexible. Diarization results are then estimated as dot products of the attractors and embeddings. The embeddings from speaker overlaps result in larger dot product values with multiple attractors; thus, this method can deal with speaker overlaps. Because the maximum number of output speakers is still limited by the training set, we also propose an iterative inference method to remove this restriction. Further, we propose a method that aligns the estimated diarization results with the results of an external speech activity detector, which enables fair comparison against pipeline approaches. Extensive evaluations on simulated and real datasets show that EEND-EDA outperforms the conventional pipeline approach.

研究动机与目标

• 解决端到端神经说话人分离（EEND）在处理未知且可变说话人数量方面的局限性。
• 通过实现动态吸引子生成，克服传统EEND方法中固定说话人数量的刚性限制。
• 通过多个吸引子增强与重叠嵌入的点积响应，提升重叠说话人检测能力。
• 通过将预测的说话人分离输出与外部语音活动检测结果对齐，实现与流水线方法的公平比较。
• 通过迭代推理方法扩展可检测说话人的上限，以克服训练数据的限制。

提出的方法

• 引入一种基于编码器-解码器的吸引子计算（EDA）模块，利用LSTM编码器-解码器架构，按顺序生成与说话人相关的吸引子。
• 以帧级嵌入作为输入，迭代生成吸引子直至满足停止条件，实现动态说话人数量估计。
• 通过嵌入与生成吸引子之间的点积计算估计说话人分离结果，当多个吸引子与重叠嵌入对齐时，点积得分更高。
• 实施一种迭代推理策略，将最大可检测说话人数量扩展至超过训练数据所设定的限制。
• 将预测的说话人分离输出与外部语音活动检测结果对齐，确保与基于流水线的系统进行公平评估。
• 采用序列到序列损失端到端训练EEND-EDA模型，以优化吸引子生成与说话人分离准确性。

实验结果

研究问题

• RQ1 端到端说话人分离系统是否能够在事先不知道说话人数量的情况下，动态估计未知数量的说话人？
• RQ2 与传统EEND方法相比，基于编码器-解码器的吸引子生成机制在处理说话人重叠方面效果如何？
• RQ3 迭代推理在多大程度上扩展了EEND系统中实际可检测的说话人数量上限？
• RQ4 在公平评估条件下，所提方法是否能实现与流水线方法相当或更优的性能？
• RQ5 基于吸引子的点积评分机制在重叠语音场景中如何提升说话人分离的准确性？

主要发现

• EEND-EDA模型在模拟和真实世界说话人分离数据集上均优于传统流水线方法。
• 吸引子生成机制通过在多个吸引子与重叠嵌入对齐时产生更高的点积得分，成功处理了说话人重叠问题。
• 迭代推理方法有效将最大可检测说话人数量扩展至超过训练过程中观察到的上限。
• 与外部语音活动检测结果对齐，实现了与基于流水线系统的公平且一致的基准测试。
• EEND-EDA框架在处理可变说话人数量和复杂重叠场景时表现出鲁棒性与灵活性。
• 序列到序列的吸引子生成过程支持端到端训练，提升了对未见说话人数量的泛化能力。