[论文解读] KU-ISPL Speaker Recognition Systems under Language mismatch condition for NIST 2016 Speaker Recognition Evaluation

Suwon Shon, Hanseok Ko|arXiv (Cornell University)|Feb 3, 2017

Speech Recognition and Synthesis参考文献 5被引用 4

一句话总结

本文介绍了KU-ISPL在NIST SRE 2016评估中的人类语音识别系统，重点解决使用英语训练模型与非英语测试集（他加禄语、粤语）之间的语言不匹配问题。该系统采用四种i-vector提取方法，并结合先进的后端技术，包括无监督语言聚类、跨语言可变性补偿以及性别/语言相关得分归一化，从而在具有挑战性的跨语言条件下实现了具有竞争力的性能。

ABSTRACT

Korea University Intelligent Signal Processing Lab. (KU-ISPL) developed speaker recognition system for SRE16 fixed training condition. Data for evaluation trials are collected from outside North America, spoken in Tagalog and Cantonese while training data only is spoken English. Thus, main issue for SRE16 is compensating the discrepancy between different languages. As development dataset which is spoken in Cebuano and Mandarin, we could prepare the evaluation trials through preliminary experiments to compensate the language mismatched condition. Our team developed 4 different approaches to extract i-vectors and applied state-of-the-art techniques as backend. To compensate language mismatch, we investigated and endeavored unique method such as unsupervised language clustering, inter language variability compensation and gender/language dependent score normalization.

研究动机与目标

• 解决训练数据为英语而测试数据为他加禄语和粤语时的人类语音识别中的语言不匹配问题。
• 通过无监督和自适应技术提升系统在多种语言下的鲁棒性。
• 开发并评估多种针对跨语言泛化能力优化的i-vector提取与后端处理策略。
• 研究针对语言和性别差异的有效得分归一化与可变性补偿方法。
• 在固定训练条件下，实现对非母语测试语言的高精度性能表现。

提出的方法

• 基于KU-ISPL系统框架，开发并评估了四种不同的i-vector提取方法。
• 应用无监督语言聚类技术，无需转录信息即可按语言身份对语音片段进行分组。
• 引入跨语言可变性补偿机制，以减小源语言与目标语言分布之间的差异。
• 采用性别与语言相关的得分归一化方法，对不同人口统计与语言群体的得分进行校准。
• 集成最先进的后端技术，以增强决策边界分离能力并提升系统可靠性。
• 利用宿务语和普通话数据的初步实验，模拟并优化目标非英语评估语言的性能。

实验结果

研究问题

• RQ1 当测试语言与训练语言不一致时，如何使人声识别系统保持高效性能？
• RQ2 无监督语言聚类在提升跨语言i-vector性能方面发挥何种作用？
• RQ3 跨语言可变性补偿在减轻语言不匹配影响方面效果如何？
• RQ4 性别与语言特定的得分归一化能否提升系统在多样化测试条件下的鲁棒性？
• RQ5 哪些i-vector提取与后端技术的组合能在语言不匹配条件下实现最佳性能？

主要发现

• 尽管训练数据为英语，测试数据为他加禄语和粤语，系统在NIST SRE 2016评估中仍表现出具有竞争力的性能。
• 无监督语言聚类在无转录信息条件下有效识别出语言特异性模式。
• 跨语言可变性补偿显著降低了因跨语言差异导致的性能下降。
• 性别与语言相关的得分归一化提升了系统校准效果，并降低了非英语测试中的错误率。
• 多种自适应技术的集成使系统在多样化语言条件下具备更强的鲁棒性与泛化能力。