[論文レビュー] A comparable study of modeling units for end-to-end Mandarin speech recognition

Wei Zou, Dongwei Jiang+2 more|arXiv (Cornell University)|May 10, 2018

Speech Recognition and Synthesis参考文献 24被引用数 5

ひとこと要約

本研究では、CTCおよびアテンションベースのエンコーダデコーダモデルを用いて、エンドツーエンドの中国語発音認識における文脈依存音素、音節（声調付き）、中国漢字をモデリング単位として比較した。結果として、漢字ベースのアテンションモデルが最も優れた性能を示し（DidiCallcenterで5.68% CER、DidiReadingで4.89% CER）、CTCモデルおよび音節ベースのモデルを上回った。これは、中国漢字が中国語ASRに非常に適した単位であることを示している。

ABSTRACT

End-To-End speech recognition have become increasingly popular in mandarin speech recognition and achieved delightful performance. Mandarin is a tonal language which is different from English and requires special treatment for the acoustic modeling units. There have been several different kinds of modeling units for mandarin such as phoneme, syllable and Chinese character. In this work, we explore two major end-to-end models: connectionist temporal classification (CTC) model and attention based encoder-decoder model for mandarin speech recognition. We compare the performance of three different scaled modeling units: context dependent phoneme(CDP), syllable with tone and Chinese character. We find that all types of modeling units can achieve approximate character error rate (CER) in CTC model and the performance of Chinese character attention model is better than syllable attention model. Furthermore, we find that Chinese character is a reasonable unit for mandarin speech recognition. On DidiCallcenter task, Chinese character attention model achieves a CER of 5.68% and CTC model gets a CER of 7.29%, on the other DidiReading task, CER are 4.89% and 5.79%, respectively. Moreover, attention model achieves a better performance than CTC model on both datasets.

研究の動機と目的

• 異なるモデリング単位（文脈依存音素、声調付き音節、中国漢字）がエンドツーエンド中国語音声認識に与える効果を評価すること。
• 主な2つのエンドツーエンドアーキテクチャ、すなわちコネクティスト・テンポラル・クラシフィケーション（CTC）とアテンションベースのエンコーダデコーダモデルの性能を比較すること。
• 低リソースおよびドメイン特化環境における中国語ASRの最適なモデリング単位とモデルアーキテクチャの組み合わせを特定すること。
• 外部言語モデルおよびモデルサイズが認識精度に与える影響を評価すること。

提案手法

• 同じデータと学習手順を用いてCTCおよびアテンションベースのエンコーダデコーダモデルを学習し、モデリング単位（CDP、音節、漢字）のみを変化させた。
• アテンションモデルでは、エンコーダに双方向LSTM、デコーダに単方向LSTMを用い、アテンション機構を用いてアライメントを実現した。
• 学習中にスケジュールサンプリングとユニグラムラベルスムージングを適用し、Adam最適化と勾配クリッピングを用いた。
• より良い結果を得るために、外部言語モデルを併用した左から右へのビームサーチデコードを実施した。
• CTCでは、フレームからラベルへのアライメントを処理するためにブランクトークンを導入し、強制アライメントを不要とした。
• 2つの中国語ASRデータセット（DidiCallcenterおよびDidiReading）を用いて、文字誤り率（CER）によるモデル性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 CTCベースの中国語ASRにおいて、文脈依存音素、声調付き音節、中国漢字のうち、どのモデリング単位が最も低い文字誤り率（CER）を達成するか？
• RQ2 中国語ASRにおいて、異なるモデリング単位を用いた場合、アテンションベースのエンコーダデコーダモデルの性能はCTCモデルと比べてどうか？
• RQ3 外部言語モデルの使用は認識性能を向上させるか？その効果はデータセットやモデリング単位によって異なるか？
• RQ4 モデルサイズを一定にした場合、CTCモデルとアテンションモデルの間で顕著な性能差が生じるか？
• RQ5 別個の言語モデルや語彙表を必要とせずに、中国漢字がエンドツーエンド中国語ASRにおける実用的で効果的なモデリング単位として機能できるか？

主な発見

• DidiCallcenterデータセットでは、漢字ベースのアテンションモデルが5.68% CERを達成し、CTCモデル（7.29%）および音節ベースのモデルを顕著に上回った。
• DidiReadingデータセットでは、漢字ベースのアテンションモデルが4.89% CERを達成し、音節ベースのCTCモデル（5.62%）から改善された。
• CTCモデルでは、すべてのモデリング単位が同等のCERを示し、音節ベースのCTCモデルが最も優れた性能（DidiCallcenterで7.31%）を示したが、パラメータ数が少なかった。
• アテンションベースのモデルは、パラメータ数が顕著に少ない（CTCの12.54M対86.05M）にもかかわらず、両データセットでCTCモデルを上回った。
• 外部言語モデルは両データセットで性能向上をもたらしたが、ドメイン特化されたDidiReadingタスクではより顕著な恩恵があった。
• 漢字ベースのアテンションモデルの優れた性能は、RNNデコーダが内蔵する言語モデルの能力と、中国語における漢字の適切さに起因する。