[论文解读] Leveraging End-to-End ASR for Endangered Language Documentation: An Empirical Study on Yoloxóchitl Mixtec

Jiatong Shi, Jonathan D. Amith+4 more|arXiv (Cornell University)|Jan 26, 2021

Natural Language Processing Techniques参考文献 22被引用 7

一句话总结

本文提出了一种混合方法，结合端到端自动语音识别（ASR）与新手转录员，以缓解濒危语言记录中的转录瓶颈。通过利用分层动态对齐与基于投票的融合方法，该方法在Yoloxóchitl Mixtec语中将音高、助音节与括号错误的字符错误率（CER）最高降低了87.5%，表明ASR在低资源环境下可有效纠正新手转录错误。

ABSTRACT

"Transcription bottlenecks", created by a shortage of effective human transcribers are one of the main challenges to endangered language (EL) documentation. Automatic speech recognition (ASR) has been suggested as a tool to overcome such bottlenecks. Following this suggestion, we investigated the effectiveness for EL documentation of end-to-end ASR, which unlike Hidden Markov Model ASR systems, eschews linguistic resources but is instead more dependent on large-data settings. We open source a Yoloxóchitl Mixtec EL corpus. First, we review our method in building an end-to-end ASR system in a way that would be reproducible by the ASR community. We then propose a novice transcription correction task and demonstrate how ASR systems and novice transcribers can work together to improve EL documentation. We believe this combinatory methodology would mitigate the transcription bottleneck and transcriber shortage that hinders EL documentation.

研究动机与目标

• 解决濒危语言（EL）记录中的转录瓶颈问题，即专家转录员无法跟上录音数据量的增长。
• 通过让接受最少培训的母语者作为新手转录员，缓解转录员短缺问题。
• 评估端到端ASR在低资源濒危语言（如Yoloxóchitl Mixtec）中的可行性，此类语言缺乏标准化拼写系统与语言资源。
• 开发并验证一种结合ASR输出与新手转录的混合纠错框架，以提升转录质量。
• 展示一种可复现、开源的端到端ASR流水线，应用于使用YMC语料库的濒危语言环境。

提出的方法

• 基于100小时经专家验证的Yoloxóchitl Mixtec语语料（YMC-EXP）使用ESPNet工具包构建端到端ASR系统。
• 开发了一项新颖的新手转录纠错任务，使用超过8小时录音的新手转录与专家校对结果（YMC-NT语料库）。
• 实施了一种分层动态对齐方法，通过在音节与词级别计算编辑距离，提升ASR与新手输出之间的对齐准确性。
• 设计了一种基于规则的融合系统，利用Yoloxóchitl Mixtec语特有的语言规则，纠正音高、助音节与标点符号错误。
• 应用基于投票的融合（ROVER）方法，整合E2E-Transformer、E2E-Conformer与新手转录的假设，以增强鲁棒性。
• 在完整（100小时）与缩减（50小时）数据子集上训练E2E-Conformer模型，以评估数据效率。

实验结果

研究问题

• RQ1 端到端ASR系统在缺乏大量语言资源的低资源濒危语言（如Yoloxóchitl Mixtec）上能否达到可接受的性能？
• RQ2 接受最少培训的新手转录员在多大程度上能生成可用于濒危语言记录的可用转录？
• RQ3 结合ASR与新手转录的混合方法在降低转录错误方面有多有效？
• RQ4 分层动态对齐是否能通过捕捉濒危语言中的音系与形态模式来提升错误纠正效果？
• RQ5 ASR模型的数据效率是否足以在训练数据有限的情况下仍提供有效的转录支持？

主要发现

• ROVER-Fusion2系统的字符错误率（CER）最低，在括号错误上降低了87.5%，在助音节错误上降低了50%，在音高错误上降低了25%。
• 基于投票的融合方法（ROVER-Fusion2）在清晰语音条件下显著优于单个模型与基线系统。
• 即使仅使用50小时训练数据，E2E-Conformer模型也能减少新手转录错误，展现出良好的数据效率。
• 在噪声环境下，新手转录单独表现优于ASR，CER低于8.5%，而ASR的CER超过23%。
• 基于规则的融合系统，结合Yoloxóchitl Mixtec语特有的音系与形态规则，有效纠正了新手转录员产生的系统性错误。
• 本研究表明，ASR与新手转录员表现出互补的错误模式，通过融合可实现有效的错误缓解。