[论文解读] Hearing voices at the National Library -- a speech corpus and acoustic model for the Swedish language

Martin Malmsten, Chris Haffenden+1 more|arXiv (Cornell University)|May 6, 2022

Music and Audio Processing被引用 5

一句话总结

本文提出VoxRex，一种针对瑞典语自动语音识别（ASR）的新单语声学模型，基于瑞典国家图书馆音视频馆藏中提取的多样化语音语料库P4进行训练。采用wav2vec 2.0架构并仅进行最少预处理，VoxRex在性能上超越了现有单语及多语模型，展示了文化遗址机构通过高质量、语言特定的未标注数据民主化人工智能的潜力。

ABSTRACT

This paper explains our work in developing new acoustic models for automated speech recognition (ASR) at KBLab, the infrastructure for data-driven research at the National Library of Sweden (KB). We evaluate different approaches for a viable speech-to-text pipeline for audiovisual resources in Swedish, using the wav2vec 2.0 architecture in combination with speech corpuses created from KB's collections. These approaches include pretraining an acoustic model for Swedish from the ground up, and fine-tuning existing monolingual and multilingual models. The collections-based corpuses we use have been sampled from millions of hours of speech, with a conscious attempt to balance regional dialects to produce a more representative, and thus more democratic, model. The acoustic model this enabled, "VoxRex", outperforms existing models for Swedish ASR. We also evaluate combining this model with various pretrained language models, which further enhanced performance. We conclude by highlighting the potential of such technology for cultural heritage institutions with vast collections of previously unlabelled audiovisual data. Our models are released for further exploration and research here: https://huggingface.co/KBLab.

研究动机与目标

• 利用瑞典国家图书馆馆藏中的未标注语音数据，开发一种高性能的单语声学模型，用于瑞典语ASR。
• 评估从零开始预训练与微调现有多语及单语模型在瑞典语语音数据上的有效性。
• 证明文化遗址机构可通过利用大规模未标注音频档案训练最先进的ASR系统，在推动人工智能民主化方面发挥核心作用。
• 探索无监督与自监督学习在无需依赖商业数据管道的情况下，为像瑞典语这样的低资源语言实现ASR的潜力。
• 发布一个免费可用的高质量ASR模型及语料库，以支持瑞典语自然语言处理与音频分析领域的进一步研究及下游应用。

提出的方法

• 通过从瑞典国家图书馆档案中抽取未标注的本地公共广播（P4）、播客和有声读物，构建P4语音语料库，强调地区方言的多样性。
• 使用wav2vec 2.0架构在P4语料库上训练新的单语声学模型VoxRex，仅进行最少预处理以检测语音段落。
• 使用瑞典语标准ASR基准测试，将VoxRex与现有模型（包括单语VoxPopuli-sv和多语XLSR-53）进行对比评估。
• 通过结合VoxRex与各种预训练语言模型，进一步提升自动语音识别的准确率。
• 利用Facebook AI与Hugging Face提供的开源工具进行模型训练、微调与部署，确保可复现性与可及性。
• 采用CC0许可在Hugging Face上发布VoxRex及其微调变体，支持广泛重用与进一步研究。

实验结果

研究问题

• RQ1 能否仅使用国家文化遗址馆藏中的未标注语音数据，从零开始训练出高性能的单语瑞典语ASR模型？
• RQ2 在来自公共广播及其他来源的多样化、方言均衡的语料库上训练的模型，与现有多语及单语模型相比，在ASR准确率方面表现如何？
• RQ3 在国家档案馆的大规模未标注音频上进行无监督预训练，能在多大程度上减少对商业或高资源数据源的依赖？
• RQ4 将自监督声学模型与预训练语言模型结合，能否进一步提升瑞典语语音识别的性能？
• RQ5 拥有大量未标注音频馆藏的文化遗址机构，如何能成为国家AI基础设施建设的积极贡献者？

主要发现

• 在P4语料库上训练的单语声学模型VoxRex，在瑞典语ASR基准测试中超越了现有模型，包括单语VoxPopuli-sv与多语XLSR-53。
• 将VoxRex与预训练语言模型结合后，ASR性能进一步提升，表明声学建模与语言建模组件之间存在显著协同效应。
• P4语料库源自本地公共广播及其他来源，提供了广泛的方言与说话人多样性，使模型更具代表性与民主性。
• 尽管仅进行了最少预处理（仅基础语音活动检测），VoxRex仍实现了最先进性能，表明wav2vec 2.0架构在多样化真实世界音频上的鲁棒性。
• 该模型的成功表明，国家图书馆与文化遗址机构可通过利用现有未标注音频馆藏，成为低资源语言AI创新的关键推动者。
• VoxRex以CC0许可发布，支持广泛重用与微调，有助于推动瑞典语自然语言处理与音频分析领域的下游研究与应用。