[論文レビュー] Toward Cross-Domain Speech Recognition with End-to-End Models

Thai‐Son Nguyen, Sebastian Stüker+1 more|arXiv (Cornell University)|Mar 9, 2020

Speech Recognition and Synthesis参考文献 28被引用数 5

ひとこと要約

本論文は、特にシーケンス・トゥ・シーケンスおよび音声から単語へのアーキテクチャをシーケンスベースの基準で訓練したエンド・トゥ・エンド音声認識モデルが、従来のハイブリッド HMM/ANN モデルとは異なり、多様なドメインにわたって顕著に優れた一般化性能を示すことを示している。ハイブリッドモデルとは異なり、混合ドメインのデータで訓練した場合に性能が低下するのではなく、ドメイン固有のハイブリッドシステムと同等の性能を達成し、入力ドメインが未知であってもドメイン適応型言語モデルの必要性を排除できる。

ABSTRACT

In the area of multi-domain speech recognition, research in the past focused on hybrid acoustic models to build cross-domain and domain-invariant speech recognition systems. In this paper, we empirically examine the difference in behavior between hybrid acoustic models and neural end-to-end systems when mixing acoustic training data from several domains. For these experiments we composed a multi-domain dataset from public sources, with the different domains in the corpus covering a wide variety of topics and acoustic conditions such as telephone conversations, lectures, read speech and broadcast news. We show that for the hybrid models, supplying additional training data from other domains with mismatched acoustic conditions does not increase the performance on specific domains. However, our end-to-end models optimized with sequence-based criterion generalize better than the hybrid models on diverse domains. In term of word-error-rate performance, our experimental acoustic-to-word and attention-based models trained on multi-domain dataset reach the performance of domain-specific long short-term memory (LSTM) hybrid models, thus resulting in multi-domain speech recognition systems that do not suffer in performance over domain specific ones. Moreover, the use of neural end-to-end models eliminates the need of domain-adapted language models during recognition, which is a great advantage when the input domain is unknown.

研究の動機と目的

• エンド・トゥ・エンド モデルとハイブリッド モデルのマルチドメイン音声認識設定における比較を調査すること。
• 多様でマルチドメインのデータで訓練することで、ドメイン間での一般化性能が向上するかどうかを評価すること。
• エンド・トゥ・エンド モデルが推論時にドメイン適応型言語モデルの必要性を排除できるかどうかを特定すること。
• ドメイン識別子を条件付けすることで、ドメイン外のテストセットでの性能がさらに向上するかどうかを調査すること。

提案手法

• 電話会話、講義、読み上げ発話、放送ニュースをカバーする4つの公開コーパス（Switchboard, TED-LIUM, LibriSpeech, Hub4）からなるマルチドメインデータセットを構築した。
• ドメイン固有およびマルチドメインのトレーニングセットで、ハイブリッド HMM/ANN モデルとエンド・トゥ・エンド モデル（音声から単語へのアーキテクチャおよびアテンションベースのシーケンス・トゥ・シーケンス）を訓練した。
• エンド・トゥ・エンド モデルには、シーケンスベースのトレーニング基準（例：CTC、交差エントロピー）を用い、音響特徴から単語シーケンスへの直接マッピングを可能にした。
• トレーニングおよび推論時にドメイン ID トークンで出力シーケンスを条件付けたドメイン条件付きエンド・トゥ・エンド モデルを導入した。
• Hub5’00、TED-LIUM、LibriSpeech、Eval98、MSLT などのドメイン固有およびドメイン外のテストセットでモデルを評価した。
• 語誤り率（WER）とドメイン識別精度（DAC）を用いて性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 マルチドメインのデータで訓練したエンド・トゥ・エンド モデルは、ハイブリッド モデルと比較して、音響的および言語的条件が多様な状況下でも、一般化性能が優れているか？
• RQ2 ドメイン適応型言語モデルを必要とせず、エンド・トゥ・エンド モデルがドメイン固有のハイブリッド モデルと同等の性能を達成できるか？
• RQ3 ドメイン識別子を効果的に学習し、エンド・トゥ・エンド モデルの条件付けに活用することで、ドメイン外の入力に対する性能が向上するか？
• RQ4 なぜエンド・トゥ・エンド モデルはフレームベースのハイブリッド モデルと比較して、ドメイン間でより優れた一般化性能を示すのか？

主な発見

• マルチドメインで訓練したエンド・トゥ・エンド モデルは、Hub5’00、TED-LIUM、LibriSpeech、Eval98 の各テストセットで、すべてのドメイン固有のハイブリッド モデルを上回り、それぞれ WER が 18.5、10.8、8.4、11.9 を達成した。
• マルチドメインで訓練したエンド・トゥ・エンド モデルは、ドメイン固有の LSTM ハイブリッド モデルと同等の性能を示し、マルチドメインでの訓練によって性能の損失が生じないことを示した。
• ドメイン条件付きエンド・トゥ・エンド モデルは、Hub5’00 で 99.84%、Eval98 で 97.93% のドメイン識別精度を達成したが、標準のエンド・トゥ・エンド モデルと同等の WER を維持した。
• ドメイン外の MSLT コーパスでテストした際、スイッチボード ドメインで条件付けされたドメイン条件付きモデルは 23.3% の WER を達成し、さまざまな言語モデルを用いたすべてのハイブリッド モデルを上回った。
• 文字ベースのシーケンス・トゥ・シーケンス モデルは、長時間の発話（60〜120 秒）で性能が低下したが、単語ベースのモデルはこの問題を回避したが、未知語（OOV）の課題に直面した。
• マルチドメインのデータで訓練したハイブリッド モデルは一般化に失敗し、ドメイン固有のモデルよりも性能が悪かった。これは、ハイブリッド システムがマルチドメイン設定において顕著な限界を示していることを示している。