[论文解读] FairSSD: Understanding Bias in Synthetic Speech Detectors

Amit Kumar Singh Yadav, Kratika Bhagtani+3 more|arXiv (Cornell University)|Apr 17, 2024

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出 FairSSD，对六种最先进的合成语音检测器在性别、年龄、口音和言语障碍等人口统计学特征下的偏见进行了全面评估。基于超过90万份真实语音样本，研究揭示了显著的公平性问题：检测器对男性、60多岁人群、南亚裔和澳大利亚英语使用者以及有口吃的人群表现出更高的假阳性率，平均等错误率（EER）从流畅语音的5.29%上升至受损语音的36.31%，凸显了当前检测系统中关键的公平性缺口。

ABSTRACT

Methods that can generate synthetic speech which is perceptually indistinguishable from speech recorded by a human speaker, are easily available. Several incidents report misuse of synthetic speech generated from these methods to commit fraud. To counter such misuse, many methods have been proposed to detect synthetic speech. Some of these detectors are more interpretable, can generalize to detect synthetic speech in the wild and are robust to noise. However, limited work has been done on understanding bias in these detectors. In this work, we examine bias in existing synthetic speech detectors to determine if they will unfairly target a particular gender, age and accent group. We also inspect whether these detectors will have a higher misclassification rate for bona fide speech from speech-impaired speakers w.r.t fluent speakers. Extensive experiments on 6 existing synthetic speech detectors using more than 0.9 million speech signals demonstrate that most detectors are gender, age and accent biased, and future work is needed to ensure fairness. To support future research, we release our evaluation dataset, models used in our study and source code at https://gitlab.com/viper-purdue/fairssd.

研究动机与目标

• 调查合成语音检测器是否对特定性别、年龄和口音群体表现出人口统计学偏见。
• 评估检测器是否更可能将言语障碍者（尤其是口吃者）的真实语音误判为合成语音。
• 利用大规模、多样化的语音语料库量化现有检测器的公平性差距。
• 发布一个全面的评估数据集、模型和代码，以支持未来在公平合成语音检测方面的研究。

提出的方法

• 本研究在来自 Mozilla Common Voice 和 Sep-28K 的 090 万份真实语音样本的精选数据集上，评估了六种现有的合成语音检测器。
• 人口统计学群体按性别（男性/女性）、年龄（青少年、20多岁、30多岁、40多岁、50多岁、60多岁）和口音（如南亚裔、澳大利亚英语、美式英语、英式英语）进行定义。
• 针对每个子群体计算假阳性率（FPR）和等错误率（EER），以衡量偏见，阈值基于独立评估集得出。
• 通过统计分析比较不同人口统计学群体之间的 FPR 和 EER，以识别检测器性能中的显著差异。
• 评估涵盖真实世界检测场景和使用标准化指标的受控对比。
• 所有模型、数据集和代码均通过 GitLab 发布，以支持可复现性和进一步的公平性研究。

实验结果

研究问题

• RQ1 合成语音检测器是否对特定性别群体表现出更高的假阳性率？
• RQ2 与年轻群体相比，检测器是否更可能将老年人群（如60多岁）的语音误判为合成语音？
• RQ3 在不同地区口音（如南亚裔或澳大利亚英语）之间是否存在显著的性能差异？
• RQ4 检测器是否对言语障碍者（如口吃者）的真实语音表现出更高的假阳性率？
• RQ5 检测器中的人口统计学偏见在多大程度上削弱了其在现实世界部署中的可靠性和公平性？

主要发现

• 合成语音检测器表现出显著的性别偏见，男性说话者的平均 FPR 相较女性上升了 1.27%。
• 60多岁年龄组的说话者相比20多岁组，平均 FPR 上升了 1.27%，表明存在基于年龄的偏见。
• 南亚裔和澳大利亚英语口音群体的 FPR 上升最高，分别较美式英语高出 1.03% 和 1.27%。
• 检测器在口吃语音上的 EER 显著上升，从流畅语音的 5.29% 上升至受损语音的 36.31%，表明对言语障碍者的严重偏见。
• 当使用固定阈值时，所有检测器在口吃语音上的平均 FPR 超过 70%，证实了真实语音被广泛误判为合成语音。
• 检测器 D05 在口吃语音上的 EER 上升最高（11.00%），而 D04 在所有人口统计学群体中表现出最一致的偏见。