[论文解读] DIHARD II is Still Hard: Experimental Results and Discussions from the DKU-LENOVO Team

Qingjian Lin, Weicheng Cai+4 more|arXiv (Cornell University)|Feb 23, 2020

Speech Recognition and Synthesis参考文献 35被引用 8

一句话总结

DKU-LENOVO团队为DIHARD II挑战赛提出了一套稳健的说话人分割系统，整合了ResNet-LSTM VAD、深度残差网络说话人嵌入、基于LSTM的相似性评分、谱聚类、变分贝叶斯重分割以及重叠语音检测。其最终系统在Track1中取得18.84%的DER，在Track2中取得27.90%的DER，排名第二，但仍凸显出在重叠语音和儿童语音等困难场景下的挑战。

ABSTRACT

In this paper, we present the submitted system for the second DIHARD Speech Diarization Challenge from the DKULENOVO team. Our diarization system includes multiple modules, namely voice activity detection (VAD), segmentation, speaker embedding extraction, similarity scoring, clustering, resegmentation and overlap detection. For each module, we explore different techniques to enhance performance. Our final submission employs the ResNet-LSTM based VAD, the Deep ResNet based speaker embedding, the LSTM based similarity scoring and spectral clustering. Variational Bayes (VB) diarization is applied in the resegmentation stage and overlap detection also brings slight improvement. Our proposed system achieves 18.84% DER in Track1 and 27.90% DER in Track2. Although our systems have reduced the DERs by 27.5% and 31.7% relatively against the official baselines, we believe that the diarization task is still very difficult.

研究动机与目标

• 为具有挑战性的DIHARD II数据集开发高性能的说话人分割系统，尤其针对真实世界、噪声环境及多人说话场景。
• 探究不同模块（VAD、说话人嵌入、评分、聚类、重分割与重叠检测）对分割性能的影响。
• 评估系统在多样化领域中的鲁棒性，特别是高重叠率或非成人说话者（如儿童录音与餐厅会议）的场景。
• 理解为何某些模块（如VB分割）在融合系统中表现不一致，以及探索当前分割技术的极限。

提出的方法

• 采用ResNet-LSTM架构进行语音活动检测（VAD），在验证集上达到80.7%的准确率，适应后提升至91.4%。
• 使用基于深度残差网络的说话人嵌入以捕捉说话人特异性特征，在所有配置中均优于i-vector与x-vector。
• 应用基于LSTM的相似性评分方法，随后进行谱聚类以分组相似的说话人片段，性能优于PLDA与AHC。
• 在重分割阶段引入变分贝叶斯（VB）分割方法以优化片段边界，使最佳单系统DER降低1.65%。
• 集成重叠语音检测以处理重叠语音区域，但因重叠语音召回率较低，增益有限。
• 通过平均得分矩阵融合多个系统（系统2、4与6），提升鲁棒性，使开发集DER降低至20.24%。

实验结果

研究问题

• RQ1 不同VAD模型（尤其是ResNet-LSTM）与标准WebRTC VAD相比，在DIHARD II上的准确率与泛化能力如何？
• RQ2 在多样化领域中，基于深度残差网络的说话人嵌入相较于i-vector或x-vector对提升分割性能的相对贡献是什么？
• RQ3 在复杂、重叠或短时长语音片段中，基于LSTM的相似性评分结合谱聚类是否优于传统的PLDA与AHC聚类？
• RQ4 为何变分贝叶斯重分割在单系统中提升性能，但在融合系统中无效甚至导致性能下降？这反映了系统间交互与不确定性建模的何种问题？
• RQ5 在重叠率较高的真实场景（如餐厅与会议）中，重叠语音检测能在多大程度上降低DER？

主要发现

• 最终系统在Track1中实现18.84%的DER，在Track2中实现27.90%的DER，位列排行榜第二，展现出在真实世界音频上的强大性能。
• 基于深度残差网络的说话人嵌入在所有配置中均优于i-vector与x-vector，最佳单系统（系统6）实现20.87%的DER。
• 通过平均得分矩阵融合系统2、4与6，使开发集DER降低至20.24%，表明集成方法可提升鲁棒性。
• 变分贝叶斯重分割使最佳单系统DER降低1.65%（从20.87%降至19.22%），但在融合系统中未带来收益，甚至导致性能下降。
• 重叠检测在Track1中仅降低0.38%的DER，在Track2中降低0.69%，表明当前方法仍难以检测大多数重叠语音段。
• 系统在高重叠错误率的领域（尤其是餐厅、儿童、网络视频与会议）表现最差，凸显了在这些场景中仍存在持续挑战。