[论文解读] End-to-End Neural Speaker Diarization with Permutation-Free Objectives

Yusuke Fujita, Naoyuki Kanda+3 more|arXiv (Cornell University)|Sep 12, 2019

Speech Recognition and Synthesis参考文献 34被引用 10

一句话总结

本文提出了一种端到端神经说话人分割模型（EEND），通过无排列的多标签分类方法，直接以帧为单位预测说话人标签，无需单独聚类。该方法在模拟混合语音上实现了12.28%的分割错误率（DER），并通过领域自适应在CALLHOME数据集上实现了25.6%的相对性能提升，优于基于聚类的基线模型。

ABSTRACT

In this paper, we propose a novel end-to-end neural-network-based speaker diarization method. Unlike most existing methods, our proposed method does not have separate modules for extraction and clustering of speaker representations. Instead, our model has a single neural network that directly outputs speaker diarization results. To realize such a model, we formulate the speaker diarization problem as a multi-label classification problem, and introduces a permutation-free objective function to directly minimize diarization errors without being suffered from the speaker-label permutation problem. Besides its end-to-end simplicity, the proposed method also benefits from being able to explicitly handle overlapping speech during training and inference. Because of the benefit, our model can be easily trained/adapted with real-recorded multi-speaker conversations just by feeding the corresponding multi-speaker segment labels. We evaluated the proposed method on simulated speech mixtures. The proposed method achieved diarization error rate of 12.28%, while a conventional clustering-based system produced diarization error rate of 28.77%. Furthermore, the domain adaptation with real-recorded speech provided 25.6% relative improvement on the CALLHOME dataset. Our source code is available online at https://github.com/hitachi-speech/EEND.

研究动机与目标

• 为解决基于聚类的说话人分割系统在重叠语音场景下的局限性，这些系统难以处理重叠语音，且无法直接针对分割错误进行优化。
• 通过将所有功能整合到单一端到端神经网络中，消除对独立模块（如说话人嵌入提取、聚类）的依赖。
• 通过引入无排列训练目标，使模型能够直接在真实重叠多说话人语音上进行训练，从而直接最小化分割错误。
• 通过使用真实语音数据进行领域自适应，提升模型对不同重叠比例和真实世界条件的鲁棒性。
• 开发一种训练目标，能够在训练和推理阶段显式处理重叠语音，而无需依赖干净的非重叠参考语音。

提出的方法

• 将说话人分割建模为多标签分类问题，其中每一帧预测所有说话人的联合活动状态。
• 引入无排列目标函数，利用排列不变训练（PIT）损失来解决训练过程中的标签歧义问题。
• 采用深度循环神经网络对每帧的说话人活动进行建模，实现对重叠语音的显式建模。
• 使用可微分目标函数，直接最小化分割错误，避免后续聚类处理。
• 应用动态成对对比损失（DPCL）以增强说话人区分能力，减少混淆错误。
• 使用时间对齐的说话人标签合成混合语音进行端到端训练，支持使用真实录音进行领域自适应。

实验结果

研究问题

• RQ1 端到端神经网络能否在无需独立聚类的情况下直接预测说话人分割结果，且性能是否优于基于聚类的基线模型？
• RQ2 无排列训练目标是否能有效处理端到端训练过程中出现的说话人标签分配歧义？
• RQ3 通过领域自适应，模型能否泛化到真实世界录音？可实现多大的性能提升？
• RQ4 在不同重叠比例下，模型性能如何？是否存在对特定训练条件的过拟合？
• RQ5 模型能否在真实重叠对话数据上进行训练，而无需依赖干净的非重叠参考语音？

主要发现

• 所提出的EEND模型在模拟语音混合数据上实现了12.28%的分割错误率（DER），显著优于x-vector基线模型（28.77% DER）。
• 在CALLHOME数据集上，通过使用真实电话录音进行领域自适应后，模型实现了25.6%的DER相对性能提升。
• 在模拟混合数据上，模型表现出较低的漏检率（1.7%），表明其对重叠语音和单说话人段落的检测能力很强。
• PIT损失在训练中至关重要，而DPCL损失进一步提升了性能，尤其在减少混淆错误方面效果显著。
• 在重叠比例较低的语音上性能下降（β值较高），表明模型可能对训练数据中27.3%的重叠比例存在过拟合。
• 尽管在模拟数据上表现优异，但CALLHOME数据集上的DER仍高于基线系统，原因在于训练集（5.8%）与测试集（11.8%）之间重叠比例存在不匹配。