[论文解读] Advanced Rich Transcription System for Estonian Speech

Tanel Alumäe, Ottokar Tilk+1 more|arXiv (Cornell University)|Jan 11, 2019

Speech Recognition and Synthesis参考文献 17被引用 28

一句话总结

本论文提出了一种先进的开源爱沙尼亚语语音转录系统，通过语音识别中的标点符号恢复与说话人识别，提升了自动语音识别的性能。该系统通过使用未转录数据中提取的噪声特征进行多条件训练，增强了鲁棒性；并通过基于字符的RNN嵌入生成器和基于FST的音素到字母转换建模，提升了未登录词的处理能力，在广播对话数据上实现了8.1%的WER，说话人识别的精确率为93%时召回率达到66%，采用弱监督训练方法。

ABSTRACT

This paper describes the current TTÜ speech transcription system for Estonian speech. The system is designed to handle semi-spontaneous speech, such as broadcast conversations, lecture recordings and interviews recorded in diverse acoustic conditions. The system is based on the Kaldi toolkit. Multi-condition training using background noise profiles extracted automatically from untranscribed data is used to improve the robustness of the system. Out-of-vocabulary words are recovered using a phoneme n-gram based decoding subgraph and a FST-based phoneme-to-grapheme model. The system achieves a word error rate of 8.1% on a test set of broadcast conversations. The system also performs punctuation recovery and speaker identification. Speaker identification models are trained using a recently proposed weakly supervised training method.

研究动机与目标

• 开发一种鲁棒的端到端爱沙尼亚语语音转录系统，能够在真实声学环境下处理半自发性语音。
• 通过基于字符的RNN嵌入和基于FST的音素到字母转换建模，改进屈折和复合语言在语言模型中的未登录词处理。
• 通过使用改进的序列模型并采用填充感知解码，实现在ASR输出中自动恢复标点符号。
• 利用弱监督学习方法训练公众人物的说话人识别模型，避免昂贵的逐段标注。
• 构建一个可扩展、可投入生产的系统，用于媒体监控和公共网络服务。

提出的方法

• 系统基于Kaldi ASR工具包构建，采用从用户未转录录音中提取的背景噪声特征进行多条件训练，以提升鲁棒性。
• 通过音素n-gram解码子图和基于FST的音素到字母转换模型，恢复未登录词。
• 基于字符的RNN生成未登录词的动态词嵌入，突破10万个词的词汇量限制，提升覆盖度。
• 通过使用完整输入序列但将最后10个词视为填充，以保留前向上下文，提升标点符号恢复的准确性。
• 说话人识别模型采用弱监督方法进行训练，仅依赖每段录音的说话人元数据，无需逐段标注。
• 系统作为免费开源后端，已部署于公共网络语音转录服务和媒体监控工具中。

实验结果

研究问题

• RQ1 如何使低资源语言（如爱沙尼亚语）的ASR系统在嘈杂的真实录音中保持鲁棒性？
• RQ2 哪些技术能有效降低屈折和复合语言在语言模型中的未登录词率？
• RQ3 如何在不依赖人工标注标点的训练数据的前提下，可靠地恢复ASR输出中的标点符号？
• RQ4 能否在无需逐段标注的情况下，有效训练大量公众人物的说话人识别模型？
• RQ5 弱监督训练在广播新闻场景中能在多大程度上实现高精度的说话人识别？

主要发现

• 在广播对话测试集上，系统实现了8.1%的词错误率（WER），表明其在半自发性语音中表现强劲。
• 在会议语音上，WER达到12.9%；在真实环境下的用户生成录音中，WER为22.7%。
• 所提出的未登录词处理方法在人工转录数据上使F1分数提升0.5–1.1%，槽错误率降低1.3–2.2%。
• 在ASR输出上，标点符号恢复的改进带来了0.5–0.6%的相对F1分数增益和0.1–0.2%的相对SER降低。
• 弱监督说话人识别系统在广播新闻评估集上实现了93%精确率下的66%时间加权召回率。
• 在使用语音分离（oracle diarization）时，说话人识别模型召回率达75%；在自动语音分离条件下，召回率达66%，表明其对未见内容具有强大的泛化能力。