[論文レビュー] Arabic Language Learning Assisted by Computer, based on Automatic Speech Recognition

Naim Terbeh, Mounir Zrigui|arXiv (Cornell University)|May 15, 2012

Speech and dialogue systems参考文献 12被引用数 4

ひとこと要約

本論文は、HMMアプローチに基づくCMU Sphinx3を用いた自動音声認識（ASR）を活用した、アラビア語向けのコンピュータ支援言語学習（CALL）システムを提示する。9名の話者から構成される6時間の音声コーパスを構築したが、データが限られているにもかかわらず、期待される結果が得られ、言語学習用途におけるアラビア語ASRの実現可能性を示している。

ABSTRACT

This work consists of creating a system of the Computer Assisted Language Learning (CALL) based on a system of Automatic Speech Recognition (ASR) for the Arabic language using the tool CMU Sphinx3 [1], based on the approach of HMM. To this work, we have constructed a corpus of six hours of speech recordings with a number of nine speakers. we find in the robustness to noise a grounds for the choice of the HMM approach [2]. the results achieved are encouraging since our corpus is made by only nine speakers, but they are always reasons that open the door for other improvement works.

研究の動機と目的

• アラビア語学習者に特化したコンピュータ支援言語学習（CALL）システムの開発を目的とする。
• アラビア語の音声認識システムが限られている課題に、HMMベースの自動音声認識（ASR）を活用して対処することを目的とする。
• ノイズの多い環境にも耐えうる、堅牢なASRシステムの構築を目的とする。これは、現実世界の言語学習応用において重要な要件である。
• 少数の話者（9名）による限定的なコーパス（6時間）を用いて、効果的なASRシステムを構築できるかどうかの実現可能性を評価することを目的とする。

提案手法

• アラビア語の音声認識に、CMU Sphinx3を用いたHMMベースのASRフレームワークを採用した。
• 9名のネイティブ・アラビア語話者から構成される、6時間にわたる独自の音声コーパスを構築した。
• ノイズ環境下でも高い耐性を示すという実績を考慮し、HMMアプローチを選定した。これにより、システムの信頼性が向上した。
• 学習者の発音や発話の正確性について、リアルタイムでフィードバックを提供できるようにシステムを設計した。
• ASRの出力を活用して、学習者の発話が標準的な発音モデルと照合されるようにした。
• ASRシステムをCALLフレームワークに統合し、相互作用的な言語学習を支援するようにした。

実験結果

リサーチクエスチョン

• RQ1 限定的な話者コーパスを用いた場合に、HMMベースのASRシステムは、アラビア語の発話を効果的に認識できるか？
• RQ2 HMMアプローチの堅牢性は、ノイズの多い現実世界の学習環境における性能をどのように向上させるか？
• RQ3 6時間、9名の話者からなる小規模なアラビア語音声コーパスは、CALLシステムにおける発音フィードバックをどの程度効果的に支援できるか？
• RQ4 ASRをコンピュータ支援言語学習環境に統合する潜在的価値は何か？
• RQ5 ASRシステムは、学習者の発話エラーをどの程度正確かつ信頼性高く同定・是正できるか？

主な発見

• 9名の話者からの6時間のコーパスしか使用しなかったにもかかわらず、システムは期待される認識結果を達成した。
• HMMベースのアプローチは、環境ノイズに対して強く、多様な学習環境での実用的導入を可能にした。
• 予備的な結果から、ASRシステムがCALL環境における発音評価を効果的に支援できることが示唆された。
• 今後のより大規模かつ多様なコーパスを用いた拡張に向けた基盤となるフレームワークを確立した。
• 特に多言語およびリソースが限られた文脈において、アラビア語ASRのさらなる改善に向けた道筋が開かれた。