[논문 리뷰] Context-aware Goodness of Pronunciation for Computer-Assisted Pronunciation Training

Jiatong Shi, Nan Huo외 1명|arXiv (Cornell University)|2020. 08. 19.

Speech Recognition and Synthesis참고 문헌 31인용 수 7

한 줄 요약

이 논문은 전통적인 GOP를 개선하기 위해 전이 및 지속 시간 요소를 통합한 Context-aware Goodness of Pronunciation (CaGOP)라는 새로운 점수 평가 모델을 제안한다. 프레임 단위의 후행 확률 엔트로피를 사용해 음소 전이를 모델링하고, 자기주의 기반 지속 시간 모델을 통해 음소 길이 변화를 포착함으로써, CaGOP는 음소 수준의 잘못된 발음 탐지에서 20%의 상대적 향상과 인간 평가자와의 문장 수준 상관관계에서 12%의 향상을 달성한다.

ABSTRACT

Mispronunciation detection is an essential component of the Computer-Assisted Pronunciation Training (CAPT) systems. State-of-the-art mispronunciation detection models use Deep Neural Networks (DNN) for acoustic modeling, and a Goodness of Pronunciation (GOP) based algorithm for pronunciation scoring. However, GOP based scoring models have two major limitations: i.e., (i) They depend on forced alignment which splits the speech into phonetic segments and independently use them for scoring, which neglects the transitions between phonemes within the segment; (ii) They only focus on phonetic segments, which fails to consider the context effects across phonemes (such as liaison, omission, incomplete plosive sound, etc.). In this work, we propose the Context-aware Goodness of Pronunciation (CaGOP) scoring model. Particularly, two factors namely the transition factor and the duration factor are injected into CaGOP scoring. The transition factor identifies the transitions between phonemes and applies them to weight the frame-wise GOP. Moreover, a self-attention based phonetic duration modeling is proposed to introduce the duration factor into the scoring model. The proposed scoring model significantly outperforms baselines, achieving 20% and 12% relative improvement over the GOP model on the phoneme-level and sentence-level mispronunciation detection respectively.

연구 동기 및 목표

• 전통적인 Goodness of Pronunciation (GOP) 점수 평가 방식의 한계를 해결하기 위해, 음소 전이와 공음화와 같은 맥락 효과를 간과하는 문제를 해결하고자 한다.
• 전이 역학과 음소 지속 시간 변동성과 같은 맥락 인지 요소를 모델링하여 잘못된 발음 탐지 정확도를 향상시키고자 한다.
• 내부 세그먼트 전이와 이음음 간 지속 시간 불일치를 통합함으로써 인간 인지와 더 잘 일치하는 점수 평가 모델을 개발하고자 한다.
• 제안된 맥락 인지 요소의 효과를 음소 수준 및 문장 수준의 잘못된 발음 탐지 작업에서 평가하고자 한다.

제안 방법

• 강제 정렬 세그먼트 내 음소 전이를 탐지하기 위해, 각 프레임의 후행 확률 엔트로피를 사용하는 전이 인지 메커니즘을 도입한다.
• 음소 지속 시간을 예측하고 점수 평가를 위해 지속 시간 불일치를 계산하기 위해 자기주의 기반 지속 시간 모델링 네트워크를 제안한다.
• 전이 요소와 지속 시간 요소를 GOP 점수 평가 프레임워크에 통합하여 프레임 단위의 발음 신뢰도 점수를 정밀하게 조정한다.
• 표준 GOP와 유사하게 최종 점수에 지속 시간 정규화를 적용하지만, 맥락 인지 가중치를 적용한다.
• 성능 최적화를 위해 개발 세트에서 하이퍼파라미터, 특히 베타 계수를 튜닝한다.
• 최종 CaGOP 점수는 GOP와 전이 및 지속 시간 요소로부터 유도된 동적 가중치를 조합한 하이브리드 점수 전략을 사용한다.

Figure 1: Posterior-Probability Entropy of the word ”Study”

실험 결과

연구 질문

• RQ1 강제 정렬 세그먼트 내 음소 전이를 모델링하면 GOP 기반 잘못된 발음 탐지 성능이 향상되는가?
• RQ2 학습된 음소 지속 시간 변동성을 통합하면 자동 점수 평가와 인간 평가 간 일치도가 향상되는가?
• RQ3 전이 요소와 지속 시간 요소가 개별적으로나 함께 작용할 때 탐지 성능 향상에 얼마나 기여하는가?
• RQ4 자기주의 기반 지속 시간 모델이 LSTM과 같은 전통적인 RNN보다 음소 지속 시간 예측에서 뛰어나게 성능을 발휘하는가?

주요 결과

• CaGOP는 음소 수준 잘못된 발음 탐지 작업에서 표준 GOP 모델 대비 F1 점수 20% 상대적 향상과 정확도 14% 절대적 향상을 달성한다.
• 문장 수준에서 인간 평가자와의 상관관계는 GOP 대비 12% 상대적으로 향상되어 PCC 0.392, SCC 0.416에 도달한다.
• 자기주의 기반 지속 시간 모델은 TIMIT 데이터셋에서 최고의 LSTM 기반 베이스라인 대비 평균 절대 오차(MAE)를 25% 상대적으로 감소시킨다.
• 전이 요소는 F1 점수에 10% 절대적 향상을 기여하고, 지속 시간 요소는 4% 절대적 향상을 기여함으로써 각각의 효과를 입증한다.
• '센터 GOP' 베이스라인은 표준 GOP를 능가하며, 세그먼트 내 음소 전이가 표준 GOP 점수 평가에 부정적인 영향을 미친다는 점을 확인한다.
• 결과는 음소 전이가 항상 세그먼트 경계 주변에 대칭적으로 위치하지는 않음을 보여주며, 동적 전이 인지 메커니즘의 필요성을 입증한다.

Figure 2: Our proposed CAPT System Framework