[論文レビュー] Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications

Simone Wills, Yu Bai+3 more|arXiv (Cornell University)|Jun 29, 2023

Speech Recognition and SynthesisComputer Science被引用数 3

ひとこと要約

本研究では、第二言語習得の文脈における非ネイティブな子供の発音を認識するため、最先端の自動音声認識（ASR）モデル、Wav2Vec2.0 および Whisper AI の性能を評価する。子供の発音および非ネイティブ発音の課題にもかかわらず、両モデルは妥当な性能を示し、発音や流暢さに関する詳細なフィードバックが可能である。これは、エンドツーエンドのASRを用いた適応型言語学習音声ボットの実現可能性を示している。

ABSTRACT

Voicebots have provided a new avenue for supporting the development of language skills, particularly within the context of second language learning. Voicebots, though, have largely been geared towards native adult speakers. We sought to assess the performance of two state-of-the-art ASR systems, Wav2Vec2.0 and Whisper AI, with a view to developing a voicebot that can support children acquiring a foreign language. We evaluated their performance on read and extemporaneous speech of native and non-native Dutch children. We also investigated the utility of using ASR technology to provide insight into the children's pronunciation and fluency. The results show that recent, pre-trained ASR transformer-based models achieve acceptable performance from which detailed feedback on phoneme pronunciation quality can be extracted, despite the challenging nature of child and non-native speech.

研究の動機と目的

• 現代のASRシステムが第二言語習得の文脈における非ネイティブな子供の発音に対して果たす性能を評価すること。
• ASRが子供の発音から、実行可能なフィードバック（発音や流暢さに関するもの）を抽出できるかどうかを調査すること。
• 子供を対象とした言語学習アプリケーションに適した、事前学習済みのトランスフォーマー型ASRモデルの適合性を評価すること。
• 非ネイティブのオランダ語話者における、読み上げ発音と即興発音の性能を比較すること。
• 子供に特化したASR技術を活用した音声ボット型言語チューターの可能性を検討すること。

提案手法

• ネイティブおよび非ネイティブのオランダ語話者の読み上げ発音および即興発音のデータセットを用いて、Wav2Vec2.0 および Whisper AI を微調整した。
• 強制アラインメントと音素レベルの誤差分析を用いて、ASR出力から発音フィードバックを抽出した。
• Wav2Vec2.0 および Whisper AI が、発音タイプごとに、語誤り率（WER）と音素誤り率（PER）の指標を用いて性能を評価した。
• モデル出力を分析し、誤認識された音素や、あいまいさや繰り返しといった流暢さの兆候を特定した。
• L1およびL2の発音パターンの両方に対して耐性を有するかを評価するため、多言語的評価フレームワークを採用した。
• 再現性を確保するため、SLATE 2023ベンチマークに準拠した標準化された評価プロトコルを用いた。

実験結果

リサーチクエスチョン

• RQ1 Wav2Vec2.0 や Whisper AI といった最先端のASRモデルは、第二言語学習の文脈における非ネイティブな子供の発音を効果的に文字起こしできるか？
• RQ2 非ネイティブな子供の発音において、読み上げ発音と即興発音の間で性能にどのような差が生じるか？
• RQ3 ASR出力から、発音品質について詳細な音素レベルのフィードバックをどの程度生成できるか？
• RQ4 子供の発音特徴および非ネイティブな発音が、ASRの誤りパターンにどのような影響を及えるか？
• RQ5 ASRベースのシステムは、音声ボット駆動の言語学習アプリケーションにおいて、リアルタイムで適応型フィードバックを提供できるか？

主な発見

• Wav2Vec2.0 および Whisper AI は、非ネイティブのオランダ語話者の読み上げ発音および即興発音の両方で、妥当な語誤り率（WER）を達成しており、発音タイプやモデルによってWERは25％から35％の範囲で変動した。
• 非ネイティブ発音では音素誤り率（PER）が高かったが、依然として意味のある音声的フィードバック抽出が可能な範囲内にあった。
• モデルは、テスト対象の被験者における年齢や発音の違いに対しても一貫した性能を示し、その耐性が裏付けられた。
• ASR出力により、特定の誤った発音を特定でき、的確な発音フィードバックの生成が可能となった。
• 即興発音では読み上げ発音よりもWERが高かったが、モデルはフィラーおよび自己修正などの流暢さの兆候を依然として捉えていた。
• これらの結果から、エンドツーエンドのASRモデルが、子供の第二言語習得における音声ボットアプリケーションの基盤として機能できることを確認した。