[論文レビュー] Building a Unified Code-Switching ASR System for South African Languages

Emre Yılmaz, Astik Biswas+3 more|arXiv (Cornell University)|Jul 28, 2018

Speech Recognition and Synthesis参考文献 18被引用数 7

ひとこと要約

本論文は、5つの南アフリカ言語（英語、isiZulu、isiXhosa、Setswana、Sesotho）を対象とし、新たに構築された14.3時間のドラマ番組コーパスを用いて、コードスイッチング（CS）音声のための最初の統合的マルチリンガル自動音声認識（ASR）システムを提示する。システムは4つのCS言語ペアの訓練に使用される共有音響モデルと、n-gramを補間した統合言語モデルを採用し、テストセットで55.6%のWERを達成したが、言語ごとの性能に顕著な差が見られ、特にテキストデータが限られるSesothoでは顕著な性能差が生じている。

ABSTRACT

We present our first efforts towards building a single multilingual automatic speech recognition (ASR) system that can process code-switching (CS) speech in five languages spoken within the same population. This contrasts with related prior work which focuses on the recognition of CS speech in bilingual scenarios. Recently, we have compiled a small five-language corpus of South African soap opera speech which contains examples of CS between 5 languages occurring in various contexts such as using English as the matrix language and switching to other indigenous languages. The ASR system presented in this work is trained on 4 corpora containing English-isiZulu, English-isiXhosa, English-Setswana and English-Sesotho CS speech. The interpolation of multiple language models trained on these language pairs enables the ASR system to hypothesize mixed word sequences from these 5 languages. We evaluate various state-of-the-art acoustic models trained on this 5-lingual training data and report ASR accuracy and language recognition performance on the development and test sets of the South African multilingual soap opera corpus.

研究の動機と目的

• 5つの南アフリカ言語（先住のバントゥー語を含む）におけるコードスイッチング音声を認識可能な1つのマルチリンガルASRシステムを開発すること。
• ドラマ放送から得たマルチリンガルコーパスを活用することで、低リソースなアフリカ語の訓練データ不足の課題に対処すること。
• 最先端のニューラル音響モデルと補間された言語モデルがマルチリンガルコードスイッチド音声に与える影響を評価すること。
• 特に、語学的に類似した言語ペア（isiZulu-isiXhosa および Setswana-Sesotho）における言語認識の正確性を分析すること。
• 主にSesothoのような低リソース言語において顕著な性能ボトルネックを同定すること、特にテキストデータの不足と関連して。

提案手法

• 4つのCS言語ペア（英語-isiZulu、英語-isiXhosa、英語-Setswana、英語-Sesotho）を対象とし、共有音響モデルを用いて統合的5言語ASRシステムを訓練する。
• 全5言語の単語語彙とバイリンガルテキストから訓練されたn-gram言語モデルを補間することで、統合言語モデルを構築し、CS訓練データに合計156k語を含む。
• 4つのCSペアの統合開発およびテストデータ上でニューラル音響モデルを訓練し、トーン言語の性能向上のためピッチ特徴量を活用する。
• 5-gramラティス再スコアリングを適用してASR仮説を精緻化し、語誤り率（WER）を低減する。
• ASR出力からの予測された言語タグを用いて言語認識を実施し、誤分類の交差認識を評価するために誤り行列を用いる。
• 14.3時間のマルチリンガルコードスイッチドコーパスを対象にシステムの性能を評価し、混合言語発話を含む別個の開発およびテストセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチリンガルASRシステムは、低リソースの先住バントゥー語を含む5つの南アフリカ言語におけるコードスイッチング音声を効果的に認識できるか？
• RQ2 複数のCS言語ペアを訓練に含めることで、全体のASR性能と言語認識正確性にどのような影響を与えるか？
• RQ3 言語的類似性とリソース不足が、特にisiZulu-isiXhosaおよびSetswana-Sesothoペアにおける言語認識性能に与える影響は何か？
• RQ4 ピッチ特徴量とラティス再スコアリングは、トーン言語のコードスイッチド音声におけるASR性能をどの程度向上させるか？
• RQ5 Sesothoは類似した音声データを有するSetswanaと比較して著しく高いWERを示すが、これはなぜか？テキストデータの不足とどのように関連しているか？

主な発見

• 5-gramラティス再スコアリングを適用した最良のASRシステムは、テストセットで55.6%の語誤り率（WER）を達成した。これはベースラインに比べてわずかな改善にとどまる。
• 英語認識は著しく良好（約42% WER）であり、主に英語の訓練データ量の多さに起因する。
• Sesothoは、Setswanaと同程度の音声データを有するが、言語モデル訓練に使用可能なテキストデータがわずか0.2M語にとどまり、Setswanaの2.8M語と比較して著しく少ない。このため、WERは70%以上に上昇している。
• 言語認識性能は、他の言語ペアと比較してSetswana-Sesothoペアで顕著に劣っており、言語的類似性と重複する音素および語彙集合が、双方向の誤認識を引き起こしている。
• isiXhosaとisiZuluの間の誤認識は主に片方向的であり、より多くのisiXhosa語がisiZuluと誤認識される傾向にある。これは、片方向の誤認識を促進する構造的・音声的差異が存在することを示唆している。
• Sotho言語において、単語語彙とコードスイッチドセグメントの両方で類似した性能を示しており、高頻度の誤認識が見られるにもかかわらず、モデルが混合言語発話にうまく一般化できていることが示されている。