[論文レビュー] Syllable based DNN-HMM Cantonese Speech to Text System

Timothy Wong, Claire W.Y. Li+7 more|arXiv (Cornell University)|Feb 13, 2024

Speech Recognition and Synthesis参考文献 19被引用数 3

ひとこと要約

本論文は、広東語音声認識のための音節ベースのDNN-HMM音声モデルを提示し、初期音-最終音（IF）と発音-核-終止音（ONC）の音節単位を比較する。GPUアクセラレーションを用いたKaldiツールキットとI-vector話者適応を適用した結果、ONCベースのモデルは9.66%の語誤り率（WER）と1.388のリアルタイム要因（RTF）を達成し、他の設定を上回った。

ABSTRACT

This paper reports our work on building up a Cantonese Speech-to-Text (STT) system with a syllable based acoustic model. This is a part of an effort in building a STT system to aid dyslexic students who have cognitive deficiency in writing skills but have no problem expressing their ideas through speech. For Cantonese speech recognition, the basic unit of acoustic models can either be the conventional Initial-Final (IF) syllables, or the Onset-Nucleus-Coda (ONC) syllables where finals are further split into nucleus and coda to reflect the intra-syllable variations in Cantonese. By using the Kaldi toolkit, our system is trained using the stochastic gradient descent optimization model with the aid of GPUs for the hybrid Deep Neural Network and Hidden Markov Model (DNN-HMM) with and without I-vector based speaker adaptive training technique. The input features of the same Gaussian Mixture Model with speaker adaptive training (GMM-SAT) to DNN are used in all cases. Experiments show that the ONC-based syllable acoustic modeling with I-vector based DNN-HMM achieves the best performance with the word error rate (WER) of 9.66% and the real time factor (RTF) of 1.38812.

研究の動機と目的

• 読み書きに困難を抱えるが、話す能力は保たれている読み書き障害のある学生に特化した音声認識システムの開発。
• 初期音-最終音（IF）と発音-核-終止音（ONC）の音節単位を用いた広東語の音節レベル音声モデリングの評価。
• DNN-HMMフレームワーク内でのI-vectorを用いた話者適応により認識精度の向上。
• 深層ニューラルネットワークとKaldiツールキットを用いたリアルタイム性能と語誤り率（WER）の最適化。
• 教育的応用に適した堅牢で低レイテンシのSTTシステムの構築。

提案手法

• システムは、GPUアクセラレーションを用いた確率的勾配降下法で訓練されたハイブリッドDNN-HMMアーキテクチャを採用。
• 音声モデリングは、初期音-最終音（IF）と発音-核-終止音（ONC）の構造を比較する音節単位を用いる。
• 話者一般化の向上を目的として、I-vectorを用いた話者適応訓練（SAT）を適用。
• GMM-SATとDNNモデル間で入力特徴を共有することで、トレーニングの一貫性を確保。
• Kaldiツールキットを用いて、標準レシピベースの構成でエンドツーエンドのシステムトレーニングとデコードを実施。
• システム性能の評価には、語誤り率（WER）とリアルタイム要因（RTF）が用いられた。

実験結果

リサーチクエスチョン

• RQ1 広東語STTにおいて、ONCベースの音節単位は伝統的なIF単位に比べて認識精度を向上させるか？
• RQ2 I-vectorを用いた話者適応は、広東語のDNN-HMMシステムにおいて語誤り率（WER）をどの程度低減させるか？
• RQ3 話者適応あり・なしの両状態において、音節ベースのDNN-HMMシステムのリアルタイム性能（RTF）はどの程度か？
• RQ4 音節単位の選択（IF対ONC）がモデルの複雑さと推論効率に与える影響は何か？
• RQ5 音節ベースのDNN-HMMシステムは、リアルタイム教育的応用に適した低WERと妥当なRTFを達成できるか？

主な発見

• I-vector適応を施したONCベースの音節モデルが、9.66%という最低の語誤り率（WER）を達成した。
• システムは1.388のリアルタイム要因（RTF）を達成しており、リアルタイム展開に適した効率的な推論を示した。
• I-vectorを用いたDNN-HMM設定は、IFベースおよび非適応モデルを上回り、WERの観点で優れた性能を示した。
• ONC単位の使用は、広東語において音節内発音の変異をIF単位よりも効果的に捉えることができた。
• DNNとI-vector適応の組み合わせは、多様な話者間で著しく耐性を向上させた。
• 本システムは、読み書き障害のある学習者を対象とした支援技術応用の強い可能性を示した。