[论文解读] Leveraging pre-trained representations to improve access to untranscribed speech from endangered languages

Nay San, Martijn Bartelds+10 more|arXiv (Cornell University)|Mar 26, 2021

Natural Language Processing Techniques被引用 9

一句话总结

本论文提出利用预训练的wav2vec 2.0表征——特别是英语单语模型——来实现低资源、濒危语言中无转录或书写系统的语音术语检索（QbE-STD）。通过使用来自预训练Transformer模型的上下文语音特征，该方法在检索性能上相比基线方法实现了56–86%的相对提升，即使目标语言与预训练语言无关，也证明了自监督表征在语言记录背景下跨语言语音索引中的鲁棒性。

ABSTRACT

Pre-trained speech representations like wav2vec 2.0 are a powerful tool for automatic speech recognition (ASR). Yet many endangered languages lack sufficient data for pre-training such models, or are predominantly oral vernaculars without a standardised writing system, precluding fine-tuning. Query-by-example spoken term detection (QbE-STD) offers an alternative for iteratively indexing untranscribed speech corpora by locating spoken query terms. Using data from 7 Australian Aboriginal languages and a regional variety of Dutch, all of which are endangered or vulnerable, we show that QbE-STD can be improved by leveraging representations developed for ASR (wav2vec 2.0: the English monolingual model and XLSR53 multilingual model). Surprisingly, the English model outperformed the multilingual model on 4 Australian language datasets, raising questions around how to optimally leverage self-supervised speech representations for QbE-STD. Nevertheless, we find that wav2vec 2.0 representations (either English or XLSR53) offer large improvements (56-86% relative) over state-of-the-art approaches on our endangered language datasets.

研究动机与目标

• 改善缺乏书写系统或足够端到端自动语音识别（ASR）训练数据的濒危语言中未转录语音语料库的可访问性。
• 评估来自高资源语言（英语）的预训练语音表征是否能提升低资源、无关语言中的语音术语检索（QbE-STD）性能。
• 研究单语与多语预训练模型（wav2vec 2.0英语 vs. XLSR53）在濒危语言中QbE-STD的有效性。
• 分析预训练表征中编码的语音信息，以理解其在区分不同语言中细微语音对比方面的优势与局限。

提出的方法

• 从wav2vec 2.0模型（英语单语和XLSR53多语）的第11个Transformer层提取1024维特征，用于查询和测试语音片段。
• 应用动态时间规整（DTW）计算查询与测试项嵌入之间的相似度得分，以实现QbE-STD。
• 使用瓶颈特征（BNF）作为基线，用于检索性能评估的比较。
• 通过对比未检索到的查询及其最高匹配项的语音转写，进行错误分析，以识别系统性误分类模式。
• 应用多维缩放（MDS）技术，可视化并比较英语和多语wav2vec 2.0模型中Kaytetye辅音（鼻音、塞音）在嵌入空间中的聚类情况。
• 使用检索准确率和相对于基线的相对提升等指标，在7种澳大利亚原住民语言和Gronings的9个数据集上评估性能。

实验结果

研究问题

• RQ1 来自高资源语言（英语）的预训练wav2vec 2.0表征是否能显著提升无转录或书写系统的低资源濒危语言中的QbE-STD性能？
• RQ2 尽管XLSR53多语模型覆盖更广的语言，英语单语wav2vec 2.0模型是否在无关的低资源语言中QbE-STD任务上优于该多语模型？
• RQ3 预训练表征中保留或丢失了哪些语音差异？这些差异如何影响预训练语言中无对比或罕见音素的语言的检索准确率？
• RQ4 为何英语模型在某些澳大利亚原住民语言上优于多语模型，尽管后者经过多语言预训练？
• RQ5 当使用预训练特征时，说话人和录音条件不匹配如何影响检索性能？这些影响能否通过表征选择来缓解？

主要发现

• wav2vec 2.0英语单语模型在7种澳大利亚原住民语言和Gronings上，相比基线BNF方法，将QbE-STD检索性能提升了56–86%，最高检索准确率达到42–52%。
• 出人意料的是，尽管XLSR53多语模型在53种语言上进行预训练，英语单语模型在7种澳大利亚语言数据集中的4个上仍优于该多语模型。
• 错误分析显示，75%的未检索到查询与它们的最高匹配项仅有4个或更少的音段差异，且两者具有相似的语音模板（如VNVNTV），表明对发音部位对比的区分能力不足。
• 使用MDS的可视化结果表明，英语模型的表征在Kaytetye中对发音部位对比（如卷舌鼻音与齿龈鼻音）的区分度不足，导致鼻音和塞音的聚类出现重叠。
• 多语XLSR53模型的辅音表征重叠程度甚至超过英语模型，表明更广泛的多语言预训练可能降低对低资源语言特定语音对比的判别能力。
• 尽管语言覆盖范围较小，英语模型的表征在无关语言的QbE-STD中更有效，可能是因为其对目标语言语音音位系统中相关语音特征的编码更强。