[論文レビュー] Experiments of ASR-based mispronunciation detection for children and adult English learners

Nina Hosseini-Kivanani, Roberto Gretter+2 more|arXiv (Cornell University)|Apr 13, 2021

Speech Recognition and Synthesis参考文献 20被引用数 5

ひとこと要約

本研究では、一般的な発音誤りを学習データとして用いた音素レベルの誤り言語モデルを統合した、イタリア語を母語とする英語第二言語学習者を対象としたASRベースの誤発音検出システムを提案する。誤りルールを言語モデルに組み込むことで、成人および児童の両方の学習者において、ベースラインモデルよりも顕著に検出精度が向上し、音素誤り率（PER）が23%に低減された。

ABSTRACT

Pronunciation is one of the fundamentals of language learning, and it is considered a primary factor of spoken language when it comes to an understanding and being understood by others. The persistent presence of high error rates in speech recognition domains resulting from mispronunciations motivates us to find alternative techniques for handling mispronunciations. In this study, we develop a mispronunciation assessment system that checks the pronunciation of non-native English speakers, identifies the commonly mispronounced phonemes of Italian learners of English, and presents an evaluation of the non-native pronunciation observed in phonetically annotated speech corpora. In this work, to detect mispronunciations, we used a phone-based ASR implemented using Kaldi. We used two non-native English labeled corpora; (i) a corpus of Italian adults contains 5,867 utterances from 46 speakers, and (ii) a corpus of Italian children consists of 5,268 utterances from 78 children. Our results show that the selected error model can discriminate correct sounds from incorrect sounds in both native and nonnative speech, and therefore can be used to detect pronunciation errors in non-native speech. The phone error rates show improvement in using the error language model. The ASR system shows better accuracy after applying the error model on our selected corpora.

研究の動機と目的

• 非ネイティブな英語発音における音素レベルでの誤発音を自動的に検出するシステムを開発すること。
• イタリア語を母語とする学習者の一般的な誤発音から導出された誤りルールを統合することで、第二言語学習者のASR精度を向上させること。
• 誤り言語モデルが、成人および児童の両方の学習者において正しい音素と誤った音素を区別する能力を評価すること。
• 音声の発音の正確さに基づいて、具体的な誤った音素を音声的転写に基づいて特定することで、学習者に実行可能なフィードバックを提供すること。

提案手法

• 本システムは、ネイティブおよび非ネイティブ発音データの両方を用いて学習された音声モデルを備えたKaldiベースの音素レベルASRフレームワークを採用する。
• イタリア語を母語とする第二言語学習者の発音誤り分析から得られた置換、削除、挿入ルールを用いて、誤り言語モデルを構築する。
• 誤りルールは、非ネイティブ発音を認識およびスコアリングできるように、変更された語彙にエンコードされる。
• ネイティブおよび非ネイティブ音声モデルの対数尤度スコアを比較することで、発音品質を評価する。
• 音素誤り率（PER）を、さまざまな言語モデル構成におけるシステム性能の主な評価指標として用いる。
• 2つのコーパスが使用された：46名の成人イタリア語学習者からの5,867発話と、78名の児童からの5,268発話。

実験結果

リサーチクエスチョン

• RQ1 誤り最適化言語モデルを備えたASRシステムは、第二言語学習者の発音における誤った音素を効果的に検出できるか？
• RQ2 言語モデルに誤りルールを組み込むことで、標準モデルと比較して音素誤り率（PER）にどのような影響を与えるか？
• RQ3 成人および児童の両方の学習者において、システムは人間の誤り検出と同様の性能を音素レベルで再現できるか？
• RQ4 イタリア語を母語とする英語学習者に共通する誤発音パターンは何か？そしてそれらはどのように体系的にモデル化できるか？

主な発見

• 誤り言語モデルは、成人および児童の両方の学習者コーパスにおいて、23%という最低の音素誤り率（PER）を達成し、ベースラインモデルを上回った。
• システムは、ネイティブおよび非ネイティブ発音の両方において、正しい音と誤った音を効果的に区別でき、年齢層を問わず高い耐障害性を示した。
• 言語モデルに誤りルールを組み込むことで、ASR精度が顕著に向上し、特に /dh/ → /d/、/n d/ → /n d/、および /er/ → /er r/ のような高頻度の誤発音に対して顕著であった。
• 本研究のシステム性能は、非ネイティブ発音データに対して最大30%のWERが報告された先行研究と比較して優れており、PERが23%であった。
• 「HER」のような語に複数の発音表記を組み込んだ変更済み語彙により、非ネイティブ発音の認識が向上し、フィードバックの正確性が向上した。
• 結果から、ASRベースのシステムは、イタリア語を母語とする学習者に特化して効果的にカスタマイズ可能であり、コンピュータ支援発音学習（CAPT）の向上に寄与できることが示唆された。