[論文レビュー] Quran Recitation Recognition using End-to-End Deep Learning

Ahmad Al Harere, Khloud Al Jallad|arXiv (Cornell University)|May 10, 2023

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文では、CNN-Bidirectional GRUエンコーダとConnectionist Temporal Classification (CTC)、および文字ベースのビームサーチデコーダを用いたエンドツーエンドのディーブラーニングモデルを提案する。公開済みのAr-DADデータセットを用いて訓練されたモデルは、8.34%の語誤り率（WER）と2.42%の文字誤り率（CER）を達成し、このデータセットにおける今後の研究のための新たなベンチマークを確立した。

ABSTRACT

The Quran is the holy scripture of Islam, and its recitation is an important aspect of the religion. Recognizing the recitation of the Holy Quran automatically is a challenging task due to its unique rules that are not applied in normal speaking speeches. A lot of research has been done in this domain, but previous works have detected recitation errors as a classification task or used traditional automatic speech recognition (ASR). In this paper, we proposed a novel end-to-end deep learning model for recognizing the recitation of the Holy Quran. The proposed model is a CNN-Bidirectional GRU encoder that uses CTC as an objective function, and a character-based decoder which is a beam search decoder. Moreover, all previous works were done on small private datasets consisting of short verses and a few chapters of the Holy Quran. As a result of using private datasets, no comparisons were done. To overcome this issue, we used a public dataset that has recently been published (Ar-DAD) and contains about 37 chapters that were recited by 30 reciters, with different recitation speeds and different types of pronunciation rules. The proposed model performance was evaluated using the most common evaluation metrics in speech recognition, word error rate (WER), and character error rate (CER). The results were 8.34% WER and 2.42% CER. We hope this research will be a baseline for comparisons with future research on this public new dataset (Ar-DAD).

研究の動機と目的

• 最近リリースされたAr-DADデータセットを活用することで、コーラン朗読認識分野における公開で大規模なデータセットの不足を解消すること。
• コーランの朗読に特有の音声的・プロソディックなルールを処理できる、頑健なエンドツーエンドのディーブラーニングモデルの開発。
• 標準化されたメトリクスを用いた公開データセット上で訓練・評価することで、今後の研究の再現可能性を確保する基準を確立すること。
• 従来の研究が小規模で非公開のデータセットや、従来のASRまたは誤り分類アプローチに依存していたという制限を克服すること。
• CTCとビームサーチデコーディングを用いたエンドツーエンド学習により、認識精度を向上させること。

提案手法

• モデルは、生の音声入力を用いて階層的な音響特徴を抽出するため、CNN-Bidirectional GRUエンコーダを採用している。
• 強制アライメントを必要としないように、目的関数としてConnectionist Temporal Classification (CTC) を使用している。
• 符号化された表現から最終的な転写テキストを生成するために、文字レベルのデコーダにビームサーチを適用している。
• モデルは、30人の異なる朗読者によって37の章が朗読されたAr-DADデータセットを用いて訓練および評価されている。
• モデルのアーキテクチャは、標準的な会話に見られない、コーランのアラビア語の言語的複雑性、特に特異な音声ルールに対応するように設計されている。
• 評価は、語誤り率（WER）と文字誤り率（CER）という標準的な自動音声認識メトリクスを用いて実施されている。

実験結果

リサーチクエスチョン

• RQ1 公開データセットを用いたエンドツーエンドのディーブラーニングモデルは、コーランの朗読認識において高い精度を達成できるか？
• RQ2 CTCとビームサーチデコーダを備えた提案されたCNN-BiGRUモデルは、標準化されたベンチマーク上で従来の手法と比較してどのように性能を発揮するか？
• RQ3 発音ルールと可変な朗読速度が、現実のコーラン音声における認識性能にどの程度影響を及えるか？
• RQ4 Ar-DADのような公開データセットは、コーラン朗読認識システムの信頼性と再現可能性のある評価を可能にするか？
• RQ5 コーラン音声認識におけるWERとCERを最小限に抑えるために、モデルの構成要素の最適な設定は何か？

主な発見

• 提案されたモデルは、Ar-DADデータセット上で8.34%の語誤り率（WER）を達成し、コーランの朗読認識において優れた性能を示した。
• 文字誤り率（CER）は2.42%であり、宗教的テキストの正確な転写に不可欠な文字レベルの高精度を示している。
• 公開済みのAr-DADデータセットの使用により、今後の研究との公平で再現可能な比較が可能となり、従来の研究が非公開データに依存していたという制限を克服した。
• CTCとビームサーチデコーディングを組み合わせたエンドツーエンドアーキテクチャは、コーランの朗読における言語的複雑性と変動性を効果的に処理できた。
• 結果として、特にAr-DADデータセットで訓練されたモデルに対する今後の研究のための新たな基準が確立された。
• モデルは、朗読速度の変動や発音ルールの違いに対しても頑健であることが示され、コーラン音声認識における主な課題に対処できている。