[論文レビュー] Subword Dictionary Learning and Segmentation Techniques for Automatic Speech Recognition in Tamil and Kannada

A Madhavaraj, Bharathi Pilar+1 more|arXiv (Cornell University)|Jul 27, 2022

Speech Recognition and Synthesis被引用数 8

ひとこと要約

本稿では、Tamil語およびKannada語における自動音声認識（ASR）のため、拡張BPE、BPE、Morfessorを用いたサブワードモデリングを提案する。WFSTフレームワーク内での最尤推定およびビタビ推定を活用し、大規模なテキストコーパスからサブワード辞書を学習する。この手法により、語彙外語（OOV）率が0%に低下し、語レベルASRと比較して最大6.63%の語誤り率（WER）低減を達成し、非常にアグラティビットな言語において顕著な性能向上を実現する。

ABSTRACT

We present automatic speech recognition (ASR) systems for Tamil and Kannada based on subword modeling to effectively handle unlimited vocabulary due to the highly agglutinative nature of the languages. We explore byte pair encoding (BPE), and proposed a variant of this algorithm named extended-BPE, and Morfessor tool to segment each word as subwords. We have effectively incorporated maximum likelihood (ML) and Viterbi estimation techniques with weighted finite state transducers (WFST) framework in these algorithms to learn the subword dictionary from a large text corpus. Using the learnt subword dictionary, the words in training data transcriptions are segmented to subwords and we train deep neural network ASR systems which recognize subword sequence for any given test speech utterance. The output subword sequence is then post-processed using deterministic rules to get the final word sequence such that the actual number of words that can be recognized is much larger. For Tamil ASR, We use 152 hours of data for training and 65 hours for testing, whereas for Kannada ASR, we use 275 hours for training and 72 hours for testing. Upon experimenting with different combination of segmentation and estimation techniques, we find that the word error rate (WER) reduces drastically when compared to the baseline word-level ASR, achieving a maximum absolute WER reduction of 6.24% and 6.63% for Tamil and Kannada respectively.

研究の動機と目的

• Tamil語およびKannada語のような非常にアグラティビットな言語では語レベルASRが語彙外語（OOV）率の高さに苦しむため、無制限語彙の課題に対処する。
• 語彙的複雑さを効果的に扱い、低リソースで語彙が豊富な言語におけるOOV率を低減するサブワードモデリング技術を開発する。
• BPE、拡張BPE、Morfessorなどのデータ駆動型アルゴリズムを用いて、大規模テキストコーパスからサブワード辞書を学習することで、ASR性能を向上させる。
• 最大尤度推定およびビタビ推定をWFSTフレームワーク内に統合し、サブワード分割とモデル学習を最適化する。
• 実世界のTamil語およびKannada語音声データセットを用いた広範な実験を通じて、サブワードモデリングの有効性を実証し、語レベルベースラインと比較して顕著なWER低減を示す。

提案手法

• Tamil語およびKannada語の語彙的構造をよりよく捉えるために、追加の統合ヒューリスティクスを組み込んだ標準BPEを拡張した拡張BPEアルゴリズムを提案する。
• 大規模テキストコーパスから最適なサブワード分割を学習するために、重み付き有限状態トランスダーサー（WFST）フレームワーク内での最大尤度（ML）およびビタビ推定技術を用いる。
• BPE、拡張BPE、Morfessorツールを用いてサブワード辞書を構築し、個々の文字も含むことでOOV率が0%になるようにする。
• Kaldiツールキットを用いて、学習済み辞書から得られるサブワード語彙を活用し、深層ニューラルネットワーク（DNN）ベースの音声モデルを学習する。
• サブワード系列に最大6-gramまでのn-gram言語モデルを適用し、言語モデルの表現力と一般化能力を向上させる。
• 最終的な語系列の再構築を可能にするために、決定的ルールを用いてサブワード出力を後処理し、サブワードベースの学習にもかかわらず完全な語レベル認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 Tamil語およびKannada語のような非常にアグラティビットな言語における自動音声認識（ASR）において、サブワードモデリングが語誤り率（WER）を顕著に低減できるか？
• RQ2 BPE、拡張BPE、Morfessorといった異なるサブワード辞書構築手法は、WERおよびOOV率低減の観点でどのように比較されるか？
• RQ3 Tamil語およびKannada語のASRシステムにおいて、最大尤度分割がビタビ分割を上回る性能を示すか？
• RQ4 データ駆動型サブワードモデリング手法（拡張BPEおよびMorfessor）は、低リソースで語彙が豊富な言語においてOOV率をどれほど低減できるか？
• RQ5 さまざまな分割および推定手法を用いる場合、n-gram言語モデルの順序を変化させた際のサブワードASR性能への影響はどの程度か？

主な発見

• 提案されたサブワードASRシステムは、語レベルベースラインと比較して、Tamil語で最大6.24%、Kannada語で最大6.63%の絶対的WER低減を達成した。
• 拡張BPEが最も優れたWER結果を示し、Tamil語で14.97%、Kannada語で12.82%を記録した。これは、6-gramサブワード言語モデルを用いたビタビ分割と組み合わせた結果である。
• BPEベースのすべての手法（標準および拡張）は、サブワード辞書に個々の文字を含めることで、OOV率が0%に達した。
• 最大尤度（ML）分割がビタビ分割を上回り、すべての可能な分割経路を考慮することで、WER低減がより効果的であった。
• Tamil語では、拡張BPEとビタビ分割を組み合わせ、6-gramサブワード言語モデルを適用した結果、14.97%の最良WERが達成され、ベースライン比で9.73%の絶対的改善が得られた。
• Kannada語では、同様に拡張BPEとビタビ分割を用い、6-gramサブワード言語モデルを適用した結果、12.82%の最良WERが達成され、ベースライン比で9.13%の絶対的改善が得られた。