[论文解读] Improving Non-native Word-level Pronunciation Scoring with Phone-level Mixup Data Augmentation and Multi-source Information

Kaiqi Fu, Shaojun Gao+4 more|arXiv (Cornell University)|Mar 1, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出一种语音单元级别的混合数据增强方法，以提升低资源环境下非母语单词级发音评分的性能。通过结合训练数据中的语音单元级特征与GOP分数，生成具有多样化发音评分的合成单词，从而增强模型泛化能力。在Speechocean762数据集上的实验表明，皮尔逊相关系数（PCC）提升至0.610，增幅达0.043，仅使用真实未标注数据的1/10即可超越基线模型。

ABSTRACT

Deep learning-based pronunciation scoring models highly rely on the availability of the annotated non-native data, which is costly and has scalability issues. To deal with the data scarcity problem, data augmentation is commonly used for model pretraining. In this paper, we propose a phone-level mixup, a simple yet effective data augmentation method, to improve the performance of word-level pronunciation scoring. Specifically, given a phoneme sequence from lexicon, the artificial augmented word sample can be generated by randomly sampling from the corresponding phone-level features in training data, while the word score is the average of their GOP scores. Benefit from the arbitrary phone-level combination, the mixup is able to generate any word with various pronunciation scores. Moreover, we utilize multi-source information (e.g., MFCC and deep features) to further improve the scoring system performance. The experiments conducted on the Speechocean762 show that the proposed system outperforms the baseline by adding the mixup data for pretraining, with Pearson correlation coefficients (PCC) increasing from 0.567 to 0.61. The results also indicate that proposed method achieves similar performance by using 1/10 unlabeled data of baseline. In addition, the experimental results also demonstrate the efficiency of our proposed multi-source approach.

研究动机与目标

• 解决非母语语音数据标注稀缺问题，以支持单词级发音评分任务。
• 在标注数据稀缺且收集成本高昂的低资源场景下，提升模型泛化能力。
• 开发一种数据增强方法，能够在单词级别生成多样化且逼真的发音变异。
• 探究多源特征（MFCC与深度特征）在提升发音评分性能方面的有效性。
• 证明在标注数据有限的情况下，通过语音单元级混合生成的合成数据可达到甚至超越真实数据的性能表现。

提出的方法

• 提出语音单元级混合方法：对每个单词，从训练数据中随机采样语音单元级特征与GOP分数，以合成新的单词级样本。
• 从现有训练数据中构建语音单元级特征与GOP分数池，支持任意语音单元组合以形成新单词。
• 将构成单词的各语音单元的平均GOP分数作为该增强后单词的发音评分。
• 将MFCC与深度声学特征作为多源输入输入发音评分模型，以增强判别能力。
• 利用真实未标注数据与混合生成的合成数据联合预训练发音评分模型，以提升泛化性能。
• 以预测得分与人工标注得分之间的皮尔逊相关系数（PCC）作为评估指标，对模型进行优化。

实验结果

研究问题

• RQ1 语音单元级混合数据增强是否能提升低资源环境下单词级发音评分的性能？
• RQ2 在数据量受限时，所提方法与使用真实未标注数据的基线模型相比表现如何？
• RQ3 结合MFCC与深度特征（多源输入）是否优于单独使用任一特征？
• RQ4 为最大化性能且避免过拟合，最优的增强数据量是多少？
• RQ5 当真实数据量扩大十倍时，通过混合方法生成的合成数据能否实现与真实数据相当的性能？

主要发现

• 所提混合方法将皮尔逊相关系数（PCC）从基线的0.567提升至0.610，显著提升0.043。
• 仅使用50,000个真实未标注单词与450,000个混合生成的单词（总计500,000个），模型即达到PCC 0.610，优于使用500,000个真实单词的基线模型。
• 采用混合预训练的系统在性能上与使用十倍真实数据的基线模型相当，证明了其数据效率。
• 多源输入（结合MFCC与深度特征）表现最佳，表明两类特征具有互补的信息增益。
• 当增强样本超过500,000个后，性能趋于平稳，表明在此数据量后收益递减。
• 深度特征单独使用已优于MFCC，而两者结合进一步提升性能，证实其互补性。