[论文解读] MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation (MCE) Plan, Dataset and Baseline System

Suwon Shon, Najim Dehak+2 more|arXiv (Cornell University)|Jul 17, 2018

Speech Recognition and Synthesis参考文献 1被引用 3

一句话总结

本论文介绍了 MCE 2018 挑战赛，这是一个基于真实电话对话中 i-vector 的多目标说话人检测与识别基准。该研究提出采用两级评估方式，分别基于 Top-S（同群检测）和 Top-1（说话人识别）指标。基线系统采用 i-vector 提取、GMM-UBM 建模以及多目标得分归一化（M-Norm）技术，以提升在 3,631 位目标说话人检测与识别任务中的性能表现。

ABSTRACT

The Multitarget Challenge aims to assess how well current speech technology is able to determine whether or not a recorded utterance was spoken by one of a large number of 'blacklisted' speakers. It is a form of multi-target speaker detection based on real-world telephone conversations. Data recordings are generated from call center customer-agent conversations. Each conversation is represented by a single i-vector. Given a pool of training and development data from non-Blacklist and Blacklist speakers, the task is to measure how accurately one can detect 1) whether a test recording is spoken by a Blacklist speaker, and 2) which specific Blacklist speaker was talking.

研究动机与目标

• 评估在真实世界电话对话数据上，多目标说话人检测与识别的最先进技术水平。
• 建立一个基准，用于检测语音片段是否来自 3,631 位黑名单说话人中的任意一位，并在是的情况下识别出具体说话人。
• 提供一个标准化的评估框架，支持固定训练条件与开放训练条件，以实现系统性能的公平比较。
• 推动在目标说话人集合庞大且事先未知的现实条件下，说话人验证技术的研究。
• 发布一个包含 8,631 位说话人（其中 3,631 位为黑名单，5,000 位为背景）的 i-vector 数据集，用于训练、开发与评估。

提出的方法

• 使用 4,096 成分的 GMM-UBM 作为通用背景模型，从 8kHz、20ms 帧的音频中提取 600 维 i-vector。
• 训练集包含 3,631 位黑名单说话人（每人 3 段语音）和 5,000 位背景说话人（每人 ≥4 段语音），开发集每名黑名单及背景说话人各包含 1 段语音。
• 测试集不包含任何说话人标签，以模拟真实部署环境。
• 基线系统采用多目标得分归一化（M-Norm）技术，对黑名单说话人之间的得分进行标准化，其定义为 $ y_i' = \frac{score(C_i,x) - \mu_M(i)}{\sigma_M(i)} $，其中 $ \mu_M(i) $ 和 $ \sigma_M(i) $ 分别为说话人 $ C_i $ 的得分均值与标准差。
• 性能通过等错误率（EER）进行评估，分别针对 Top-S（同群检测）和 Top-1（识别）检测器，两者采用不同的错误定义。
• 参赛者每支队伍最多可提交六份结果文件，需以 PDF 格式提供系统描述，使用标准化提交格式，包含语音段 ID、得分以及最接近的黑名单说话人 ID。

实验结果

研究问题

• RQ1 系统在真实电话对话中，对测试语音是否来自 3,631 位黑名单说话人中的任意一位，检测性能如何？
• RQ2 当语音来自同群时，系统在多大程度上能正确识别出具体的黑名单说话人？
• RQ3 与原始得分相比，多目标得分归一化（M-Norm）在检测与识别性能方面带来了多大提升？
• RQ4 使用外部数据（开放条件）与仅使用所提供数据（固定条件）相比，性能提升程度如何？
• RQ5 不同系统配置与数据使用策略对多目标说话人检测与识别中 EER 的影响如何？

主要发现

• MCE 2018 挑战赛提供了一个基于真实客服中心数据中 i-vector 的真实场景基准，涵盖训练、开发与测试集中的 3,631 位黑名单说话人与 5,000 位背景说话人。
• Top-S 检测器基于同群检测实现 EER 性能，即系统判断输入语音是否来自任意一位黑名单说话人。
• Top-1 检测器实现的 EER 性能同时包含正确检测与正确识别，且显式建模了混淆错误。
• 基线系统采用 M-Norm 对黑名单说话人间的得分进行归一化，提升了在检测与识别任务中的鲁棒性与性能表现。
• 评估框架支持固定（仅使用所提供数据）与开放（允许使用外部数据）两种训练条件，支持对系统鲁棒性的对比分析。
• 挑战赛包含一个提交协议，要求提供系统描述，并允许每支队伍最多提交六份结果文件，结果在无标签的隐藏测试集上进行评估。