[論文レビュー] Universal Phone Recognition with a Multilingual Allophone System

Xinjian Li, Siddharth Dalmia+9 more|arXiv (Cornell University)|Feb 26, 2020

Speech Recognition and Synthesis参考文献 25被引用数 7

ひとこと要約

この論文では、音声の普遍的音素と言語固有の音素を、音素の類義語層を介して同時にモデル化する多言語音声認識モデルAllosaurusを提案する。音声学的知識と普遍的音素インベントリを活用することで、低リソース設定下での多言語音声認識性能が2.0%絶対誤差減少し、ほぼ普遍的な音素認識を実現。PHOIBLEデータベース統合により、学習時に見られなかった先住民言語（例：イヌクティトゥット語、トゥソム語）の音素認識精度が17%向上した。

ABSTRACT

Multilingual models can improve language processing, particularly for low resource situations, by sharing parameters across languages. Multilingual acoustic models, however, generally ignore the difference between phonemes (sounds that can support lexical contrasts in a particular language) and their corresponding phones (the sounds that are actually spoken, which are language independent). This can lead to performance degradation when combining a variety of training languages, as identically annotated phonemes can actually correspond to several different underlying phonetic realizations. In this work, we propose a joint model of both language-independent phone and language-dependent phoneme distributions. In multilingual ASR experiments over 11 languages, we find that this model improves testing performance by 2% phoneme error rate absolute in low-resource conditions. Additionally, because we are explicitly modeling language-independent phones, we can build a (nearly-)universal phone recognizer that, when combined with the PHOIBLE large, manually curated database of phone inventories, can be customized into 2,000 language dependent recognizers. Experiments on two low-resourced indigenous languages, Inuktitut and Tusom, show that our recognizer achieves phone accuracy improvements of more than 17%, moving a step closer to speech recognition for all languages in the world.

研究の動機と目的

• 多言語音声認識における音素（言語固有の対比）と音素（実際の発話音）の不一致を解消し、多様な言語を統合する際に性能が低下する問題に対処すること。
• 共通の言語に依存しない音素表現を用いて、言語間の音声学的知識を活用することで、低リソース音声認識を改善すること。
• PHOIBLEのような大規模かつキュレートされた音素インベントリを用いて、言語固有の学習データを必要とせずに、任意の言語にカスタマイズ可能な普遍的音素認識を可能にすること。
• 既存の共有音素モデルや個別音素モデルの限界を克服し、類義語を明示的にモデル化することで、言語間で微細な音声的差異を保持すること。

提案手法

• 音声学的に妥当な類義語リストを用いて、普遍的音素（例：[p], [pʰ]）から言語固有の音素（例：/p/）にマッピングする類義語層を導入する。
• 標準的な音素表記と事前に定義された類義語マッピングのみを用いて、エンドツーエンドでモデルを学習する。初期化は音声学者によるアノテーションデータを用い、訓練中にファインチューニングを行う。
• 11言語の音素を統合して普遍的音素インベントリを構築し、187種類の異なる音素を生成することで、普遍的認識を支援する。
• PHOIBLEデータベースを統合することで、任意の言語にカスタマイズ可能な普遍的認識器を構築する。このデータベースは言語固有の音素インベントリを提供する。
• モデルを直接音素に変換することで、学習時に見られない言語でも微細な音声的差異を認識可能にする。
• イヌクティトゥット語やトゥソム語といった低リソース言語に、PHOIBLEの言語固有インベントリと組み合わせてモデルを適用し、音素誤差率を顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 音素と音素の違いを明示的にモデル化することで、多言語音声認識モデルが低リソース言語の認識性能を向上させられるか？
• RQ2 音素と音素間の類義語マッピングを組み込むことで、標準的な共有音素モデルや個別音素モデルよりも高い性能が得られるか？
• RQ3 言語固有の学習データを一切必要とせず、1つのモデルが多様な言語でほぼ普遍的な音素認識を達成できるか？
• RQ4 PHOIBLEのような外部の音声学的データベースを用いて、普遍的音素認識器を新しい言語にカスタマイズできる程度はどの程度か？
• RQ5 標準的な多言語アプローチと比較して、未学習の低リソース先住民言語におけるモデルの性能はどの程度か？

主な発見

• Allosaurusモデルは、共有音素モデルと比較して、低リソース設定下で2.0%の絶対誤差減少を達成し、多言語音声認識性能を向上させた。
• イヌクティトゥット語では84.1%、トゥソム語では77.3%の音素誤差率を達成し、ベースラインモデルが85%を超えるのと比較して顕著な改善を示した。
• PHOIBLEデータベース統合により、音素誤差率はイヌクティトゥット語で73.1%、トゥソム語で64.2%に低下し、平均性能が17%向上した。
• 英語において同じ音素 /p/ の類義語 [pʰ] と [p] を明確に区別できたことから、モデルが微細な音声的差異を学習可能であることが示された。
• 普遍的音素インベントリは、PHOIBLEの言語の平均82%をカバーしており、標準偏差12.8%と、地理的地域にかかわらず一貫したカバレッジを示した。
• PHOIBLEの言語固有インベントリを用いることで、類似音素（例：[e] と [i]）の置換誤差が減少し、音声学的制約が曖昧な音素予測を解消する助けになっていることが示された。