[论文解读] Enhancements for Audio-only Diarization Systems

Dimitrios Dimitriadis|arXiv (Cornell University)|Aug 30, 2019

Speech Recognition and Synthesis参考文献 22被引用 7

一句话总结

本文通过在 d-vector 特征上引入非线性滤波的时序平滑方法，并改进深度嵌入聚类（DEC）算法的损失函数，提升了纯音频说话人分割性能。所提方法在已知说话人数量时，于 AMI 数据集上实现 20% 的相对性能提升，于 DIHARD 数据集上实现 19% 的相对提升，显著优于基线聚类方法及在受控条件下表现最优的系统。

ABSTRACT

In this paper two different approaches to enhance the performance of the most challenging component of a Speaker Diarization system are presented, i.e. the speaker clustering part. A processing step is proposed enhancing the input features with a temporal smoothing process combined with nonlinear filtering. We, also, propose improvements on the Deep Embedded Clustering (DEC) algorithm -- a nonlinear feature transformation. The performance of these enhancements is compared with different clustering algorithms, such as the UISRNN, k-Means, Spectral clustering and x-Means. The evaluation is held on three different tasks, i.e. the AMI, DIHARD and an internal meeting transcription task. The proposed approaches assume a known number of speakers and time segmentations for the audio files. Since, we focus only on the clustering component of diarization for this work, the segmentation provided is assumed perfect. Finally, we present how supervision, in the form of given speaker profiles, can further improve the overall diarization performance. The proposed enhancements yield substantial relative improvements in all 3 tasks, with 20\% in AMI and 19\% better than the best diarization system for DIHARD task, when the number of speakers is known.

研究动机与目标

• 提升纯音频说话人聚类系统在短时段与混响等挑战性条件下的性能。
• 通过特征级预处理与算法优化，弥补现有聚类算法（如 k-Means、谱聚类与 x-Means）的局限性。
• 研究段长对聚类性能的影响，特别是短语音段（<1.5 秒）的情况。
• 通过改进损失函数，增强深度嵌入聚类（DEC）算法的聚类平滑性与鲁棒性。
• 评估已知说话人数量与通过说话人画像提供监督信息对整体分割性能的增益。

提出的方法

• 在聚类前对 d-vector 特征应用时序平滑与中值滤波，以降低噪声并增强时序一致性。
• 在 DEC 算法中引入改进的损失函数，增加正则化项以促进更平滑的聚类行为并提升泛化能力。
• 在 DEC 中使用基于自编码器的瓶颈层，以学习紧凑且具有判别性的说话人表征，同时过滤无关信息。
• 先在较长语音段上训练 DEC 模型以提升表征学习能力，再将其应用于短段语音。
• 将所提改进方法与 k-Means、谱聚类、x-Means 及 UISRNN 进行对比，使用已知说话人数量与理想分段结果。
• 在 x-Means 中使用贝信息准则（BIC）实现聚类数的自动估计，但当聚类数未知时性能显著下降。

实验结果

研究问题

• RQ1 对 d-vector 进行时序滤波在说话人分割中如何影响聚类性能，特别是在短段语音中？
• RQ2 对 DEC 算法损失函数的改进能在多大程度上提升聚类准确率与鲁棒性？
• RQ3 使用长训练段对短段语音聚类模型性能有何影响？
• RQ4 与聚类过程中估计聚类数相比，假设已知说话人数量能带来多大性能增益？
• RQ5 当与增强聚类方法结合时，通过说话人画像提供的监督信息能否进一步提升分割结果？

主要发现

• 所提 d-vector 时序滤波与中值平均方法在 AMI 任务中相较原始 DEC 实现 22% 的相对性能提升。
• 改进后的 DEC 算法在 AMI 数据集上相较原始 DEC 提升 6.5%，相较最佳基线（谱聚类）提升 19%。
• 在 DIHARD 任务中，当已知说话人数量时，增强系统相较最先进方法实现 19.5% 的相对性能提升（DER 从 18.17% 降至 15.05%）。
• 仅使用长度超过 1.5 秒的段落，性能相较包含所有段落的情况提升 62%；当使用全部段落时，系统可恢复 31.4% 的最优性能。
• k-Means 与 x-Means 之间的性能差距显著（k-Means 提升 19%），凸显在系统中已知说话人数量的重要性。
• 结合预处理的改进 DEC 模型相较基线方法在聚类性能上最高可提升 31%，证明损失函数改进的有效性。