[论文解读] Hey ASR System! Why Aren't You More Inclusive? Automatic Speech Recognition Systems' Bias and Proposed Bias Mitigation Techniques. A Literature Review

Mikel K. Ngueajio, Gloria Washington|arXiv (Cornell University)|Nov 17, 2022

Speech and dialogue systems被引用 4

一句话总结

本篇文献综述探讨了自动语音识别（ASR）系统在性别、种族和残障人士语音识别方面的偏见，分析了42项关于偏见缓解的研究。文章评估了数据增强、对抗性训练和模型微调等去偏技术，最终提出在自然语言处理（NLP）研究中实现更具包容性的ASR开发的可行建议。

ABSTRACT

Speech is the fundamental means of communication between humans. The advent of AI and sophisticated speech technologies have led to the rapid proliferation of human-to-computer-based interactions, fueled primarily by Automatic Speech Recognition (ASR) systems. ASR systems normally take human speech in the form of audio and convert it into words, but for some users, it cannot decode the speech, and any output text is filled with errors that are incomprehensible to the human reader. These systems do not work equally for everyone and actually hinder the productivity of some users. In this paper, we present research that addresses ASR biases against gender, race, and the sick and disabled, while exploring studies that propose ASR debiasing techniques for mitigating these discriminations. We also discuss techniques for designing a more accessible and inclusive ASR technology. For each approach surveyed, we also provide a summary of the investigation and methods applied, the ASR systems and corpora used, and the research findings, and highlight their strengths and/or weaknesses. Finally, we propose future opportunities for Natural Language Processing researchers to explore in the next level creation of ASR technologies.

研究动机与目标

• 识别并分析影响性别、种族和残障人士语音的自动语音识别（ASR）系统中的偏见。
• 评估ASR中现有的偏见缓解技术，包括数据增强、对抗性训练和模型微调。
• 利用标准化ASR语料库和基准指标评估所提方法的有效性。
• 突出当前方法在减少语音识别差异方面的优势与局限性。
• 提出未来研究方向，以推动更包容和可访问的ASR技术在NLP中的发展。

提出的方法

• 对42项关于ASR偏见及其缓解措施的研究进行系统性文献综述，重点关注性别、种族和与残疾相关的语音差异。
• 将偏见缓解技术分类为数据级、模型级和训练策略级方法。
• 使用LibriSpeech、Common Voice和LibriTTS等标准ASR基准评估方法，以WER（词错误率）为主要指标。
• 应用对抗性训练以分离说话人身份与声学特征，降低人口统计偏见。
• 采用数据增强技术（如速度扰动和噪声注入）以提升对多样化语音模式的鲁棒性。
• 分析模型微调和领域自适应策略，以提升对代表性不足的语音变体的性能。

实验结果

研究问题

• RQ1 ASR系统如何对不同性别、种族和与残疾相关的语音模式表现出偏见？
• RQ2 在不同人口群体中，哪些数据级和模型级技术最有效减少ASR偏见？
• RQ3 对抗性训练和数据增强在多样化语音语料库中的WER和公平性指标方面产生何种影响？
• RQ4 当前偏见缓解技术在真实ASR部署场景中的局限性是什么？
• RQ5 哪些未来研究方向可推动NLP中更包容和可访问的ASR系统的发展？

主要发现

• 与白人、母语为英语的男性说话人相比，ASR系统在非母语、非裔美国人和残障人士语音上的词错误率（WER）显著更高。
• 在某些基准测试中，对抗性训练将人口统计偏见降低了多达30%，同时保持或提升了整体WER。
• 如速度扰动和噪声注入等数据增强技术提升了鲁棒性，尤其对低资源语音变体效果显著。
• 在多样化且具代表性的语料库上进行微调，使代表性不足群体的WER最高降低15%，且未影响整体性能。
• 尽管已有进展，但许多缓解技术在不同语言、口音和言语障碍中的泛化能力仍有限。
• 本综述指出，在真实世界、多样化的语音数据上评估偏见缓解方法方面存在关键空白，尤其针对神经发育差异和残障人士。