[论文解读] Context-aware Goodness of Pronunciation for Computer-Assisted Pronunciation Training

Jiatong Shi, Nan Huo+1 more|arXiv (Cornell University)|Aug 19, 2020

Speech Recognition and Synthesis参考文献 31被引用 7

一句话总结

本文提出上下文感知发音质量评分（CaGOP），一种用于计算机辅助发音训练（CAPT）的新型评分模型，通过引入过渡与时长因素，改进了传统GOP模型。通过使用帧级后验概率熵来建模语音过渡，并采用基于自注意力机制的时长模型捕捉语音长度变化，CaGOP在音素级发音错误检测中实现20%的相对性能提升，在与人工评分者的一致性评估中实现12%的提升。

ABSTRACT

Mispronunciation detection is an essential component of the Computer-Assisted Pronunciation Training (CAPT) systems. State-of-the-art mispronunciation detection models use Deep Neural Networks (DNN) for acoustic modeling, and a Goodness of Pronunciation (GOP) based algorithm for pronunciation scoring. However, GOP based scoring models have two major limitations: i.e., (i) They depend on forced alignment which splits the speech into phonetic segments and independently use them for scoring, which neglects the transitions between phonemes within the segment; (ii) They only focus on phonetic segments, which fails to consider the context effects across phonemes (such as liaison, omission, incomplete plosive sound, etc.). In this work, we propose the Context-aware Goodness of Pronunciation (CaGOP) scoring model. Particularly, two factors namely the transition factor and the duration factor are injected into CaGOP scoring. The transition factor identifies the transitions between phonemes and applies them to weight the frame-wise GOP. Moreover, a self-attention based phonetic duration modeling is proposed to introduce the duration factor into the scoring model. The proposed scoring model significantly outperforms baselines, achieving 20% and 12% relative improvement over the GOP model on the phoneme-level and sentence-level mispronunciation detection respectively.

研究动机与目标

• 为解决传统发音质量评分（GOP）在CAPT系统中的局限性，即忽略语音过渡与共音化等上下文效应。
• 通过建模上下文感知因素（如过渡动态与语音时长变化）提升发音错误检测的准确性。
• 开发一种更符合人类感知的评分模型，整合段内过渡与跨音素时长不匹配因素。
• 评估所提出的上下文感知因素在音素级与句子级发音错误检测任务中的有效性。

提出的方法

• 引入一种过渡感知机制，利用帧级后验概率熵检测强制对齐段落内的语音过渡。
• 提出一种基于自注意力机制的时长建模网络，用于预测语音时长并计算时长不匹配以用于评分。
• 将过渡因子与时长因子注入GOP评分框架，以优化帧级发音置信度评分。
• 对最终评分应用时长归一化处理，类似于标准GOP，但采用上下文感知加权方式。
• 在开发集上调整超参数（如beta系数）以优化性能。
• 采用混合评分策略，最终的CaGOP评分结合GOP与来自过渡和时长因子的动态权重。

Figure 1: Posterior-Probability Entropy of the word ”Study”

实验结果

研究问题

• RQ1 在强制对齐段落内建模语音过渡是否能提升基于GOP的发音错误检测性能？
• RQ2 引入学习到的语音时长变化是否能增强自动评分与人工判断之间的一致性？
• RQ3 过渡与时长因子在提升检测性能方面，其单独与联合贡献程度如何？
• RQ4 基于自注意力机制的时长模型是否能优于传统RNN（如LSTM）在预测语音时长方面的表现？

主要发现

• 在音素级发音错误检测任务中，CaGOP相较于标准GOP模型，F1分数提升20%相对值，准确率提升14%绝对值。
• 与人工评分者在句子级的相关性提升12%相对值，皮尔逊相关系数（PCC）达0.392，斯皮尔曼等级相关系数（SCC）达0.416。
• 在TIMIT数据集上，基于自注意力机制的时长模型相较最优LSTM基线，平均绝对误差（MAE）降低25%相对值。
• 过渡因子带来F1分数10%的绝对提升，时长因子带来4%的绝对提升，证明二者均具有效果。
• ‘中心GOP’基线优于标准GOP，证实段落内部的语音过渡会负面影响标准GOP评分。
• 结果表明，语音过渡并非总对称分布于段落边界附近，验证了动态过渡感知机制的必要性。

Figure 2: Our proposed CAPT System Framework