[论文解读] AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition

Afroz Ahamad, Ankit Anand+1 more|arXiv (Cornell University)|May 16, 2020

Speech Recognition and Synthesis参考文献 7被引用 9

一句话总结

AccentDB 引入了一个经过精心筛选的非母语印度英语口音数据库，以提升神经网络语音识别性能。该数据库通过自编码器模型实现口音分类与中性化，将非母语口音转化为母语口音的准确率超过95%，显著增强了非母语语音的语音识别鲁棒性。

ABSTRACT

Modern Automatic Speech Recognition (ASR) technology has evolved to identify the speech spoken by native speakers of a language very well. However, identification of the speech spoken by non-native speakers continues to be a major challenge for it. In this work, we first spell out the key requirements for creating a well-curated database of speech samples in non-native accents for training and testing robust ASR systems. We then introduce AccentDB, one such database that contains samples of 4 Indian-English accents collected by us, and a compilation of samples from 4 native-English, and a metropolitan Indian-English accent. We also present an analysis on separability of the collected accent data. Further, we present several accent classification models and evaluate them thoroughly against human-labelled accent classes. We test the generalization of our classifier models in a variety of setups of seen and unseen data. Finally, we introduce the task of accent neutralization of non-native accents to native accents using autoencoder models with task-specific architectures. Thus, our work aims to aid ASR systems at every stage of development with a database for training, classification models for feature augmentation, and neutralization systems for acoustic transformations of non-native accents of English.

研究动机与目标

• 为解决当前自动语音识别（ASR）系统在实际应用中因非母语英语口音而性能受限的问题。
• 构建一个精心筛选的、包含非母语印度英语口音与母语口音的平行数据库，用于训练与评估。
• 设计并评估能够泛化至已见与未见口音类别的口音分类模型。
• 提出一种基于特定任务自编码器架构的口音中性化框架，将非母语口音转化为类母语语音。
• 通过数据增强、口音识别与声学转换，实现端到端提升语音识别系统性能。

提出的方法

• 将4种印度英语口音与5种母语英语口音（包括都市印度英语）收集至一个平行数据库 AccentDB 中，内容标准化且录音条件统一。
• 设计多阶段方法：(1) 基于 MFCC 特征的卷积神经网络（CNN）进行口音分类，(2) 采用注意力机制分析以提升可解释性，(3) 使用带有跳跃连接的自编码器实现口音中性化。
• 通过在输入 MFCC 前添加独热编码的目标口音标签，实现多源、多目标口音中性化模型，支持跨多个口音对的联合学习。
• 训练带有跳跃连接的卷积与 LSTM 自编码器，以在各层中保留目标口音信息，实现有效的特征级转换。
• 通过在输入中引入目标口音标签作为条件向量，采用类似零样本学习的设置，使单一模型可处理多种源-目标口音组合。
• 使用分类准确率与重建保真度评估模型，并在成对与多口音设置下进行消融实验。

实验结果

研究问题

• RQ1 一个精心筛选的、包含非母语与母语英语口音的平行数据库，能否提升神经网络语音识别系统的鲁棒性？
• RQ2 口音分类模型在已见与未见非母语口音之间，其泛化能力如何？
• RQ3 基于自编码器的模型在保留语义内容的前提下，能在多大程度上将非母语口音中性化为类母语语音？
• RQ4 一个单一统一的模型能否通过条件化目标口音标签，实现多源、多目标口音中性化？
• RQ5 分类模型中的注意力机制如何反映特定口音的声学特征？

主要发现

• AccentDB 数据库成功捕捉了多样的印度英语口音，并为口音感知的语音识别系统提供了高质量的训练与评估支持。
• 口音分类模型在成对中性化任务中准确率超过95%，最佳模型在威尔士口音上达到97.27%，在奥迪亚口音上达到93.11%。
• 基于自编码器的口音中性化模型在所有8项实验中，将非母语口音转换为母语口音的分类准确率均超过95%。
• 该模型在反向方向（母语到非母语）也实现了超过85%的准确率，证明了其具备双向转换能力。
• 采用标签条件输入的多源、多目标中性化模型表现出良好效果，使用 LSTM 自编码器与跳跃连接时准确率达到70.08%。
• 注意力可视化揭示了与特定口音语音学特征对齐的有意义帧级注意力模式，支持模型的可解释性。