[論文レビュー] Context-aware Goodness of Pronunciation for Computer-Assisted Pronunciation Training

Jiatong Shi, Nan Huo+1 more|arXiv (Cornell University)|Aug 19, 2020

Speech Recognition and Synthesis参考文献 31被引用数 7

ひとこと要約

本稿では、コンテキストに配慮した発音の良し悪し（CaGOP）を提案する。これは、従来のGOPを改善するための新しいスコーリングモデルであり、遷移要因と持続時間要因を組み込む。フレーム単位の事後確率エントロピーを用いて発音遷移をモデル化し、自己注意機構を用いた持続時間モデルを用いて発音長の変動を捉えることで、発音誤り検出の発音素レベルで20%相対的改善、人間の評価者との文レベル相関で12%向上を達成した。

ABSTRACT

Mispronunciation detection is an essential component of the Computer-Assisted Pronunciation Training (CAPT) systems. State-of-the-art mispronunciation detection models use Deep Neural Networks (DNN) for acoustic modeling, and a Goodness of Pronunciation (GOP) based algorithm for pronunciation scoring. However, GOP based scoring models have two major limitations: i.e., (i) They depend on forced alignment which splits the speech into phonetic segments and independently use them for scoring, which neglects the transitions between phonemes within the segment; (ii) They only focus on phonetic segments, which fails to consider the context effects across phonemes (such as liaison, omission, incomplete plosive sound, etc.). In this work, we propose the Context-aware Goodness of Pronunciation (CaGOP) scoring model. Particularly, two factors namely the transition factor and the duration factor are injected into CaGOP scoring. The transition factor identifies the transitions between phonemes and applies them to weight the frame-wise GOP. Moreover, a self-attention based phonetic duration modeling is proposed to introduce the duration factor into the scoring model. The proposed scoring model significantly outperforms baselines, achieving 20% and 12% relative improvement over the GOP model on the phoneme-level and sentence-level mispronunciation detection respectively.

研究の動機と目的

• 従来の発音の良し悪し（GOP）スコアリングが、発音遷移や共鳴化の影響を無視するというCAPTシステムの限界を是正すること。
• 遷移ダイナミクスや発音持続時間の変動といったコンテキストに配慮した要因をモデル化することで、誤り検出の正確性を向上させること。
• 発音内遷移と発音間持続時間の不一致を組み込むことで、人間の認識とより整合性のとれたスコアリングモデルを構築すること。
• 提案されたコンテキストに配慮した要因が発音素レベルおよび文レベルの誤り検出タスクの両方で有効であるかを評価すること。

提案手法

• 強制アライメントされたセグメント内での発音遷移を検出するために、フレーム単位の事後確率エントロピーを用いた遷移に配慮したメカニズムを導入する。
• 発音持続時間を予測し、スコアリングに用いる持続時間不一致を計算するための自己注意ベースの持続時間モデリングネットワークを提案する。
• 遷移要因と持続時間要因をGOPスコアリングフレームワークに統合し、フレーム単位の発音の信頼性スコアを精緻化する。
• 最終スコアに対して、標準GOPと同様に持続時間正規化を適用するが、コンテキストに配慮した重み付けを施す。
• 性能最適化のため、開発セット上でβ係数などのハイパーパrameterを調整する。
• 最終的なCaGOPスコアが、GOPと遷移要因・持続時間要因からの動的重みを組み合わせるハイブリッドスコアリング戦略を採用する。

Figure 1: Posterior-Probability Entropy of the word ”Study”

実験結果

リサーチクエスチョン

• RQ1 強制アライメントされたセグメント内での発音遷移をモデル化することで、GOPに基づく誤り検出が向上するか？
• RQ2 学習された発音持続時間の変動を組み込むことで、自動スコアリングと人間の判断との一致が向上するか？
• RQ3 遷移要因と持続時間要因が、個別および併合して検出性能の向上にどの程度寄与するか？
• RQ4 自己注意ベースの持続時間モデルは、LSTMのような従来のRNNよりも発音持続時間を予測する上で優れているか？

主な発見

• CaGOPは、発音素レベルの誤り検出タスクにおいて、標準GOPモデル比でF1スコアに20%相対的改善、正答率に14%絶対的改善を達成した。
• 人間の評価者との文レベル相関はGOP比で12%相対的向上を示し、PCCが0.392、SCCが0.416に達した。
• 自己注意ベースの持続時間モデルは、TIMITデータセットにおいて、最良のLSTMベースライン比で平均絶対誤差（MAE）を25%相対的に低減した。
• 遷移要因はF1スコアに10%絶対的改善を、持続時間要因は4%絶対的改善をもたらし、両者の個別的な有効性が裏付けられた。
• 「センターGOP」ベースラインが標準GOPを上回ったことから、セグメント内での発音遷移が標準GOPスコアリングに悪影響を及えることが確認された。
• 結果から、発音遷移が常にセグメント境界を中心に非対称的であることが示され、動的で遷移に配慮したメカニズムの必要性が裏付けられた。

Figure 2: Our proposed CAPT System Framework