[論文レビュー] Combined Acoustic and Pronunciation Modelling for Non-Native Speech Recognition

Ghazi Bouselmi, Dominique Fohr+1 more|ArXiv.org|Nov 6, 2007

Speech Recognition and Synthesis参考文献 6被引用数 4

ひとこと要約

本論文は、非ネイティブ英語発音認識の性能向上を目的として、発音モデリングと音響適応を組み合わせた手法を提案する。発音の類似性に基づき、L1とL2の発音を結びつける発音の誤り行列を用い、音響モデルに対してMLLR/MAP適応またはモデル再推定を適用することで、HIWIREデータベース上で相対語誤り率を46%から71%まで低減した。特に、モデル再推定と発音モデリングを組み合わせた手法が最も優れた性能を示した。

ABSTRACT

In this paper, we present several adaptation methods for non-native speech recognition. We have tested pronunciation modelling, MLLR and MAP non-native pronunciation adaptation and HMM models retraining on the HIWIRE foreign accented English speech database. The ``phonetic confusion'' scheme we have developed consists in associating to each spoken phone several sequences of confused phones. In our experiments, we have used different combinations of acoustic models representing the canonical and the foreign pronunciations: spoken and native models, models adapted to the non-native accent with MAP and MLLR. The joint use of pronunciation modelling and acoustic adaptation led to further improvements in recognition accuracy. The best combination of the above mentioned techniques resulted in a relative word error reduction ranging from 46% to 71%.

研究の動機と目的

• 標準のASRシステムがネイティブ発音のデータで学習されているため、非ネイティブ英語話者の発音認識性能が著しく劣ることが多いことに対処する。
• 空港管制など、非ネイティブ話者が英語を使用する実世界の応用において、外国訛りの問題を解決する。
• 各L1/L2ペアに対して大規模で専用の非ネイティブ発音コーパスを必要としない、スケーラブルな手法を開発する。
• MLLR、MAP、およびモデル再推定といった音響適応技術と発音モデリングを組み合わせた手法の有効性を調査する。
• 発音モデリングに、音響的に適応されたネイティブ言語モデルを用いることで認識精度が向上するかどうかを評価する。

提案手法

• 本手法は、発音の類似性に基づき、各話者言語（SL）の発音を複数のネイティブ言語（NL）発音のシーケンスにマッピングする「発音の誤り」スキームを用いる。
• 非ネイティブ発音データを用いて、MLLR（最尤線形回帰）およびMAP（最尤後確率）手法による音響モデルの非ネイティブアクセントへの適応を実施する。
• 音響適応と発音モデリングを統合するため、正規のSLモデルと、正規または適応済みのNLモデルを誤り行列に組み込む。
• 非ネイティブアクセントの特徴をよりよく捉えるために、小さな適応コーパスを用いてSLモデルの再推定を実施する。
• 誤り行列から導出された代替発音を含むように辞書を修正し、非ネイティブ発音のバリエーションを認識可能にする。
• 実験では、HIWIREデータベース上で、制約付きおよび自由語ループ文法を用いて、正規、適応、または再推定されたHMMモデルセットのさまざまな組み合わせを比較した。

実験結果

リサーチクエスチョン

• RQ1 発音モデリングと音響適応を組み合わせることで、非ネイティブ発音認識における語誤り率を顕著に低減できるか？
• RQ2 発音モデリングに音響的に適応されたネイティブ言語モデルを用いることで、正規モデルを用いる場合よりも高い性能が得られるか？
• RQ3 MLLR、MAP、およびモデル再推定といった異なる適応手法は、非ネイティブアクセント認識精度にどのように影響するか？
• RQ4 性能向上は、使用する文法の種別（制約付き vs. 自由語ループ）に依存するか？
• RQ5 誤り行列におけるモデルのばらつきが、認識精度に与える影響は何か？

主な発見

• 発音モデリングと音響適応を併用することで、ベースラインシステムに比べて語誤り率が46%から71%まで相対的に低減した。
• 最も優れた性能を示したのは「Confusion7」設定であり、これは正規英語モデルの再推定と、正規英語モデルと再推定モデル間の誤り行列を用いた発音モデリングを組み合わせたものであった。
• モデル再推定はMLLRおよびMAP適応を上回り、特に制約付き文法条件下で顕著な性能向上を示した。自由語ループ文法では、1.4%のWERと3.2%のSERを達成した。
• 誤り行列に同一モデル（例：正規 vs. 正規）を用いる場合、多様なモデルを用いる場合よりも性能が劣った。これは、モデルのばらつきが認識性能を向上させることを示している。
• 「Confusion6」システム（MAP適応済み英語モデルを両方の誤りセットに使用）は、「Confusion5」（MAP適応済みネイティブモデルを用いた）を上回った。これは、英語モデルの適応が教師ありであることに起因すると考えられる。
• 「Confusion1」と「Confusion2」は、MAP適応を用いた場合、ベースラインよりも性能が悪化した。これは、同一または非常に類似したモデル間の誤りが、システムのロバスト性を低下させることを示している。