[论文解读] Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages

Matthew Wiesner, Chunxi Liu+7 more|arXiv (Cornell University)|Feb 23, 2018

Speech Recognition and Synthesis参考文献 23被引用 6

一句话总结

本文提出了一种针对几乎零资源语言的低资源语音识别与主题分类系统，采用通用音素模型与迁移学习技术。通过仅使用15至30分钟的转录语音对通用自动语音识别（ASR）系统进行微调，并利用在极少量母语者标注数据上微调的英语主题分类器，该方法在主题识别方面取得了显著提升——在NIST LoReHLT 2017评估中表现优于现有方法，尤其在提格雷尼亚语（IL5）中，SF-Type分类的F1值达到54%。

ABSTRACT

Automatic speech recognition (ASR) systems often need to be developed for extremely low-resource languages to serve end-uses such as audio content categorization and search. While universal phone recognition is natural to consider when no transcribed speech is available to train an ASR system in a language, adapting universal phone models using very small amounts (minutes rather than hours) of transcribed speech also needs to be studied, particularly with state-of-the-art DNN-based acoustic models. The DARPA LORELEI program provides a framework for such very-low-resource ASR studies, and provides an extrinsic metric for evaluating ASR performance in a humanitarian assistance, disaster relief setting. This paper presents our Kaldi-based systems for the program, which employ a universal phone modeling approach to ASR, and describes recipes for very rapid adaptation of this universal ASR system. The results we obtain significantly outperform results obtained by many competing approaches on the NIST LoReHLT 2017 Evaluation datasets.

研究动机与目标

• 开发一种针对极低资源语言的自动语音识别（ASR）系统，仅需极少转录数据，例如几分钟的语音。
• 通过从高资源语言迁移学习，在低资源环境下实现准确的主题识别（SF-Type检测）。
• 评估小规模人工介入标注（通过母语信息提供者）在提升ASR与主题分类器性能方面的有效性。
• 证明基于多语言数据训练的与语言无关的主题分类器，在结合极少目标语言标注时，可优于语言特定模型。
• 建立一种快速部署语音技术的框架，适用于新兴危机场景，如人道主义援助或灾难响应。

提出的方法

• 使用基于Kaldi的ASR系统，该系统基于通用音素模型，可在无需目标语言转录数据的情况下实现跨语言声学建模。
• 仅通过母语信息提供者（NIs）收集的15至30分钟转录语音，对通用ASR模型进行微调，显著降低ASR词错误率（WER）。
• 采用在多语言数据上训练的英语SF-Type主题分类器，随后通过少量目标语言（IL）主题标签对NIs进行微调。
• 利用IL到英语的机器翻译（MT）生成主题分类器的合成训练数据，但当拥有足够IL特定标签时，即使不使用MT性能也表现相当。
• 使用基于Web的标注界面，高效收集来自NIs的转录内容与SF-Type标签，最大限度减少标注时间并提升数据效用。
• 在声学单元发现（AUD）、无监督术语发现（UTD）和词级别分词结果上训练与语言无关的分类器，以评估不同NLP表示下的鲁棒性。

实验结果

研究问题

• RQ1 基于通用音素模型的ASR系统能否仅通过15至30分钟的转录语音有效适应低资源语言？
• RQ2 在仅使用母语者提供的少量目标语言主题标签时，基于多语言英语的SF-Type分类器效果如何？
• RQ3 与单纯依赖多语言迁移相比，引入IL特定的SF-Type标签是否能显著提升主题分类性能？
• RQ4 IL到英语的机器翻译质量在多大程度上影响低资源环境下主题分类系统的性能？
• RQ5 系统是否能在不依赖ASR或MT的情况下，仅通过极少人工标注标签实现高性能主题分类？

主要发现

• 经微调后，采用通用音素模型的ASR系统在仅使用15至30分钟转录语音的情况下，其词错误率（WER）与相关语言的ASR系统相当。
• 在提格雷尼亚语（IL5）中，SF-Type的F1分数相对基线提高了59%，相关性得分相对提高了23%，显示出显著的适应优势。
• 在奥罗莫语（IL6）中，尽管WER改进程度相似，但性能提升有限，可能由于机器翻译质量较低（BLEU-4 ≈ 0.16 vs. 0.09）以及适应数据更少。
• 使用3,000个多语言标签训练的英语SF-Type分类器，其性能与仅用159个IL特定标签训练的IL专用分类器在提格雷尼亚语中相当。
• 在英语分类器训练数据中加入IL特定的SF-Type标签可持续提升性能，159个标签的性能可与6小时NIs标注时间的ASR微调（相当于27分钟ASR适应）相媲美。
• 收集的IL特定SF-Type标签数量是性能的关键决定因素，标签越多，结果越好，尤其在奥罗莫语中，因收集了更多标签而表现更优。