[論文レビュー] Cross-lingual and Multilingual Spoken Term Detection for Low-Resource Indian Languages

Sanket Shah, Satarupa Guha+2 more|arXiv (Cornell University)|Nov 12, 2020

Speech Recognition and Synthesis参考文献 14被引用数 4

ひとこと要約

本論文では、高資源言語のヒンディ、タミル、テルグのASRシステムをブラックボックス音声変換器として用い、10種類の低リソースインド言語におけるゼロショットクロスリンガルスプoken Term Detection（STD）アプローチを提案する。音声的類似性、緩められた発音マッチングアルゴリズム、言語固有言語モデルを活用することで、ターゲット言語の音声データを一切使用せずに、最高で0.86に達する高いMTWVスコアを達成した。これは、音声的に類似した言語が最も恩恵を受けるが、音声的に類似しない言語に対しても、強固な音声マッチングにより検出が可能であることを示している。

ABSTRACT

Spoken Term Detection (STD) is the task of searching for words or phrases within audio, given either text or spoken input as a query. In this work, we use state-of-the-art Hindi, Tamil and Telugu ASR systems cross-lingually for lexical Spoken Term Detection in ten low-resource Indian languages. Since no publicly available dataset exists for Spoken Term Detection in these languages, we create a new dataset using a publicly available TTS dataset. We report a standard metric for STD, Mean Term Weighted Value (MTWV) and show that ASR systems built in languages that are phonetically similar to the target languages have higher accuracy, however, it is also possible to get high MTWV scores for dissimilar languages by using a relaxed phone matching algorithm. We propose a technique to bootstrap the Grapheme-to-Phoneme (g2p) mapping between all the languages under consideration using publicly available resources. Gains are obtained when we combine the output of multiple ASR systems and when we use language-specific Language Models. We show that it is possible to perform STD cross-lingually in a zero-shot manner without the need for any language-specific speech data. We plan to make the STD dataset available for other researchers interested in cross-lingual STD.

研究の動機と目的

• 低リソースインド言語における言語固有の音声データを一切使用せずに、スプoken Term Detection（STD）を可能にすること。
• 高リソースインド言語（ヒンディ、テルグ、タミル）のクロスリンガルASRシステムが、10種類の低リソース言語におけるSTDにどの程度有効であるかを評価すること。
• 公開リソースを活用して、これらの言語間でグラーマーから発音へのマッピング（g2p）をブートストラップする手法を開発すること。
• マルチリンガルASR統合と言語固有言語モデルを用いて、STDのパフォーマンスを向上させること。
• TTSコーパスに基づいて、低リソースインド言語のための新しい公開STDデータセットを作成・リリースすること。

提案手法

• 10種類の低リソースインド言語の音声に対して、事前学習済みのヒンディ、テルグ、タミルのASRシステムをブラックボックス変換器として使用した。
• 同じ発音的クラスに属する発音を許容する緩められた発音マッチングアルゴリズムを適用し、音声的に類似しない言語に対しても耐性を高めた。
• 共通の発音セットとUnicode文字マッピングを用いて、全ターゲット言語間でg2pマッピングをブートストラップした。
• 3つのASRシステムの仮説を、アライメントスコアに基づく投票戦略を用いて統合し、検出精度を向上させた。
• ターゲット言語のテキストデータを用いて訓練した言語固有言語モデル（LM）を統合することでパフォーマンスを向上させた。
• 全言語で標準的なSTD評価指標であるMean Term Weighted Value（MTWV）を用いて、性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 高リソースインド言語のASRシステムは、低リソースインド言語におけるゼロショットスプoken Term Detectionに効果的に利用可能か？
• RQ2 ソース言語とターゲット言語の音声的類似性は、クロスリンガル設定下でのSTDパフォーマンスにどのように影響するか？
• RQ3 緩められた発音マッチングアルゴリズムは、音声的に類似しない言語のSTD精度をどの程度向上させ得るか？
• RQ4 複数のASRシステムの出力を統合し、言語固有言語モデルを適用することでMTWVスコアは向上するか？
• RQ5 公開リソースを活用して、低リソースインド言語間でg2pマッピングを有効にブートストラップできるか？

主な発見

• マルチリンガルASR統合アプローチが、全言語で最高のMTWVスコアを達成し、単一ASRベースラインよりも向上した。
• ヒンディと音声的に類似した言語（例：グジャラート語、マラーティー語、ラージャスターニー語）は、ASRアライメントが良好なため、最高で0.62のMTWVスコアを達成した。
• 高い発音誤り率（PER）にもかかわらず、ボド語は緩められた音声マッチングアルゴリズムにより、類似した発音的クラスがマッチ可能となったため、0.56の高いMTWVスコアを達成した。
• 言語固有言語モデルの追加によりMTWVスコアが顕著に向上し、ベンガル語は0.47から0.79、カナダ語は0.41から0.86に向上した。
• 既存のASRシステムがない言語に対しても高いパフォーマンスを達成したため、ゼロショットクロスリンガルSTDの実現可能性が示された。
• 著者らは、TTSコーパスに基づいて新しい公開STDデータセットをリリースする予定であり、今後の低リソースインド言語のスプoken Term Detection研究を支援する。