[論文レビュー] Knowledge-driven Subword Grammar Modeling for Automatic Speech Recognition in Tamil and Kannada

A Madhavaraj, Bharathi Pilar+1 more|arXiv (Cornell University)|Jul 27, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、タミル語およびカンナダ語の自動音声認識（ASR）における知識駆動型サブワード文法モデリング手法を提案する。手動で整備された解析規則を活用して、重み付き有限状態トランスデューサ（SG-WFST）を構築し、サブワード分割を実現する。動詞、名詞、代名詞、数詞の各語類に対して接頭語、中置語、接尾語を定義することで、ベースラインの語ベースASRに比べ、タミル語で12.39%、カンナダ語で13.56%の語誤り率（WER）の低減を達成した。また、未知語率も低く抑えた。

ABSTRACT

In this paper, we present specially designed automatic speech recognition (ASR) systems for the highly agglutinative and inflective languages of Tamil and Kannada that can recognize unlimited vocabulary of words. We use subwords as the basic lexical units for recognition and construct subword grammar weighted finite state transducer (SG-WFST) graphs for word segmentation that captures most of the complex word formation rules of the languages. We have identified the following category of words (i) verbs, (ii) nouns, (ii) pronouns, and (iv) numbers. The prefix, infix and suffix lists of subwords are created for each of these categories and are used to design the SG-WFST graphs. We also present a heuristic segmentation algorithm that can even segment exceptional words that do not follow the rules encapsulated in the SG-WFST graph. Most of the data-driven subword dictionary creation algorithms are computation driven, and hence do not guarantee morpheme-like units and so we have used the linguistic knowledge of the languages and manually created the subword dictionaries and the graphs. Finally, we train a deep neural network acoustic model and combine it with the pronunciation lexicon of the subword dictionary and the SG-WFST graph to build the subword-ASR systems. Since the subword-ASR produces subword sequences as output for a given test speech, we post-process its output to get the final word sequence, so that the actual number of words that can be recognized is much higher. Upon experimenting the subword-ASR system with the IISc-MILE Tamil and Kannada ASR corpora, we observe an absolute word error rate reduction of 12.39% and 13.56% over the baseline word-based ASR systems for Tamil and Kannada, respectively.

研究の動機と目的

• タミル語やカンナダ語のような高度に接尾語が重ねられるドゥラヴィダ語族言語における高い未知語率（OOV）の課題に対処すること。
• データ駆動型サブワード手法が言語学的に意味のある形態素に類似した単位を生成できないという限界を克服すること。
• 言語学的知識を用いて複雑な語形成規則をモデル化することで、無制限の語彙を認識可能なサブワードベースのASRシステムを設計すること。
• 構造的なサブワード文法とヒューリスティックな分割を用いることで、ベースラインの語レベルASRシステムに比べて語誤り率（WER）を著しく低減すること。
• 文脈マーカーを用いた決定的後処理ルールにより、サブワード出力からの正確な語列の回復を可能にすること。

提案手法

• 動詞、名詞、代名詞、数詞に分類された語類を対象に、言語学的知識を活用して手動でサブワード辞書を構築した。
• タミル語およびカンナダ語における形態的変化と接続語の特徴をモデル化するため、各語類ごとに接頭語、中置語、接尾語のリストを設計した。
• サブワード単位の文字列連結を通じて有効な語形成規則を表現する、サブワード文法重み付き有限状態トランスデューサ（SG-WFST）を構築した。
• SG-WFST規則の範囲外にある例外的な語を処理するためのヒューリスティックな分割アルゴリズムを開発した。
• DNN音声認識モデルとサブワード辞書および言語モデルWFSTを統合し、最終的なデコードグラフを構築した。
• 文脈マーカーを用いた決定的連結処理を適用し、サブワード出力から最終的な語列を再構成した。

実験結果

リサーチクエスチョン

• RQ1 知識駆動型サブワード文法モデルは、タミル語やカンナダ語のような高度に接続語が重ねられる言語におけるOOV率の低減に有効に機能するか？
• RQ2 言語学的知見に基づいたサブワード分割アプローチは、データ駆動型サブワード手法に比べ、WERおよび形態的正確性の面で優れているか？
• RQ3 SG-WFSTに基づくサブワードモデリングは、ベースラインの語レベルASRシステムに比べて、どれほどWERを改善できるか？
• RQ4 ヒューリスティックな後処理は、SG-WFST文法規則に従わない例外語を適切に処理できるか？
• RQ5 提案されたサブワード-ASRシステムは、語の原形化や発音表記変換などの他の自然言語処理タスクに対してもスケーラブルかつ再利用可能か？

主な発見

• 提案されたサブワード-ASRシステムは、タミル語で12.31%の語誤り率（WER）を達成し、ベースラインの語ベースASRシステムに比べて12.39%の絶対的低減を実現した。
• カンナダ語では、WERが8.39%にまで低下し、ベースラインの語レベルASRシステムに比べ13.56%の絶対的改善が得られた。
• OOV率はタミル語で1.68%、カンナダ語で1.12%にまで低下した。これは主にテストセット内の固有名詞や希少語に起因する。
• サブワード辞書およびSG-WFSTの手動構築により、データ駆動型手法が言語学的整合性に欠けるのとは異なり、形態的に意味のあるサブワード単位が確保された。
• ヒューリスティックな分割アルゴリズムは、SG-WFST文法規則に従わない語を効果的に処理できた。
• 文脈マーカーを用いた決定的連結処理により、サブワード出力から有効な語列が正確に再構成された。