[論文レビュー] Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model

Anjuli Kannan, Arindrima Datta+7 more|arXiv (Cornell University)|Sep 11, 2019

Speech Recognition and Synthesis参考文献 32被引用数 4

ひとこと要約

本論文では、RNN-Tを用いたストリーミングエンドツーエンド（E2E）マルチリンガル音声認識モデルを提示しており、9つのインド言語において、モノリンガルE2Eおよび従来のASRシステムを凌駕する。言語ベクトルと言語固有のアダプタモジュールを組み合わせることで、一貫した10％の相対的WER低減（低リソース言語では最大34％）を達成し、リアルタイム応用に適した低遅延を維持している。

ABSTRACT

Multilingual end-to-end (E2E) models have shown great promise in expansion of automatic speech recognition (ASR) coverage of the world's languages. They have shown improvement over monolingual systems, and have simplified training and serving by eliminating language-specific acoustic, pronunciation, and language models. This work presents an E2E multilingual system which is equipped to operate in low-latency interactive applications, as well as handle a key challenge of real world data: the imbalance in training data across languages. Using nine Indic languages, we compare a variety of techniques, and find that a combination of conditioning on a language vector and training language-specific adapter layers produces the best model. The resulting E2E multilingual model achieves a lower word error rate (WER) than both monolingual E2E models (eight of nine languages) and monolingual conventional systems (all nine languages).

研究の動機と目的

• スティーミングで低遅延なマルチリンガルASRシステムを、スピーカーサポートのようなインタラクティブアプリケーションに適したものとして開発すること。
• データ分布の偏りによって高リソース言語が支配する状況にあるマルチリンガル学習におけるデータの不均衡を是正すること。
• 高リソース言語の精度を損なわず、低リソース言語のパフォーマンスを向上させること。
• 単一のE2Eモデルが複数のモノリンガル従来システムを凌駕できることを示し、デプロイメントの簡素化を実現すること。

提案手法

• ストリーミング推論にRNN-Tアーキテクチャを採用し、過去の出力と現在の音声フレームに依存することで、リアルタイムの遅延を実現する。
• ターゲット言語に条件づけるために言語ベクトルを採用し、言語間の曖昧さの解消を向上させる。
• 言語固有のアダプタモジュール（エンコーダ層に挿入される小さなトレーニング可能な全結合ネットワーク）を適用することで、各言語ごとのパラメータ効率の良い特化を可能にする。
• クラスバランスサンプリングと適応的アップウェートを用いてデータの不均衡を緩和するが、言語ベクトルと併用すると効果が薄れることがある。
• 言語ベクトルとアダプタを併用することで、特に低リソース言語においても、全体の堅牢性とパフォーマンスの両方を向上させる。
• 9つのインド言語の37,000時間にわたるマルチリンガルコーパスを用いて、モノリンガルE2Eおよび従来のASRベースラインと比較してモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングエンドツーエンドマルチリンガルASRモデルは、最先端のモノリンガル従来システムと同等のパフォーマンスを達成しつつ、低遅延を維持できるか？
• RQ2 データの不均衡なマルチリンガル学習において、言語ベクトルとアダプタモジュールは、低リソース言語のパフォーマンス劣化をどれほど是正できるか？
• RQ3 言語ベクトルと言語固有のアダプタモジュールを併用することで、単独での手法やデータサンプリング戦略に比べてより優れた結果が得られるか？
• RQ4 データの不均衡はモデルのパフォーマンスにどの程度影響を及ぼすか？また、アダプタのようなアーキテクチャ的修正は、偏ったデータ分布を補うのに有効か？
• RQ5 単一のE2Eモデルが、正確性とデプロイメント効率の両面で、9つの別個のモノリンガルモデルを置き換えることができるか？

主な発見

• 提案されたマルチリンガルE2Eモデルは、9言語中8言語において、モノリンガルE2Eモデルより低い語誤り率（WER）を達成した。
• モデルは全9言語においてモノリンガル従来システムを上回り、一貫した10％の相対的WER低減を達成した。低リソース言語のカナダ語では最大34％の相対的改善が見られた。
• 言語ベクトルとアダプタモジュールの併用が最良のパフォーマンスをもたらし、カナダ語では9％の相対的WER低減、ウルドゥー語では8％の低減を達成した。
• 言語ベクトルの条件づけのみでは低リソース言語のWERが低下するが、高リソース言語では逆に性能が低下する傾向がある。アダプタは、過学習を防ぎつつ言語固有の適応を可能にすることで、この問題を緩和する。
• アダプタは1言語あたりたった250万パラメータ（全体の約2％）しか追加しないため、非常にパラメータ効率が良く、選択的にデプロイ可能である。
• RNN-Tを用いることで、モデルはストリーミング能力を維持し、スピーカーサポートのようなインタラクティブアプリケーションに適したリアルタイム推論を可能にしている。