[論文レビュー] Universal ASR: Unify and Improve Streaming ASR with Full-context Modeling.

Jiahui Yu, Wei Han+6 more|arXiv (Cornell University)|Oct 12, 2020

Speech Recognition and Synthesis被引用数 13

ひとこと要約

本論文では、統合されたエンドツーエンドフレームワークであるUniversal ASRを提案する。このフレームワークは、共同学習とインプレイス知識蒸留を用いて、ストリーミング型とフルコンテキスト型の自動音声認識の間でモデル重みを共有する。このアプローチにより、ストリーミング型ASRの遅延と精度が顕著に向上し、LibriSpeechおよび内部のMultiDomainデータセットにおいて、新たな最先端の結果を達成した。

ABSTRACT

Streaming automatic speech recognition (ASR) aims to emit each hypothesized word as quickly and accurately as possible, while full-context ASR waits for the completion of a full speech utterance before emitting completed hypotheses. In this work, we propose a unified framework, Universal ASR, to train a single end-to-end ASR model with shared weights for both streaming and full-context speech recognition. We show that the latency and accuracy of streaming ASR significantly benefit from weight sharing and joint training of full-context ASR, especially with inplace knowledge distillation. The Universal ASR framework can be applied to recent state-of-the-art convolution-based and transformer-based ASR networks. We present extensive experiments with two state-of-the-art ASR networks, ContextNet and Conformer, on two datasets, a widely used public dataset LibriSpeech and an internal large-scale dataset MultiDomain. Experiments and ablation studies demonstrate that Universal ASR not only simplifies the workflow of training and deploying streaming and full-context ASR models, but also significantly improves both emission latency and recognition accuracy of streaming ASR. With Universal ASR, we achieve new state-of-the-art streaming ASR results on both LibriSpeech and MultiDomain in terms of accuracy and latency.

研究の動機と目的

• ストリーミング型とフルコンテキスト型ASRモデルの両方のトレーニングおよびデプロイメントパイプラインを簡素化すること。
• フルコンテキストモデリングと共同学習することで、ストリーミング型ASRの遅延と精度の両面を向上させること。
• モデル容量や推論効率を損なわずに、ストリーミング型とフルコンテキスト型ASR間で重みを共有できること。
• フルコンテキストの監視を用いたインプレイス知識蒸留の有効性を示すこと。
• LibriSpeechおよび大規模な内部のMultiDomainデータセットにおいて、ストリーミング型ASRの最先端の結果を達成すること。

提案手法

• ストリーミング型とフルコンテキスト型の推論モードの両方で共有重みを使用する1つのエンドツーエンドASRモデルをトレーニングする。
• トレーニング中にフルコンテキストの監視を活用することで、インプレイス知識蒸留によりストリーミング推論を向上させる。
• 推論アーキテクチャを変更せずに、フルコンテキストモデリングをトレーニングプロセスに統合し、共同最適化を可能にする。
• このフレームワークは、畳み込みベース（例：ContextNet）およびトランスフォーマー基盤（例：Conformer）の両方のASRアーキテクチャと互換性を持つ。
• 知識蒸留をインプレイスで適用し、フルコンテキストモデルの予測がトレーニング中のストリーミングモデルをガイドする。
• 低遅延のストリーミング出力と高精度な全系列認識の両方を同時に最適化するエンドツーエンドトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 重み共有を用いることで、1つのASRモデルがストリーミング型とフルコンテキスト型の両方で競争力のある性能を達成できるか？
• RQ2 フルコンテキストの監視と共同学習することで、ストリーミング型ASRの遅延と精度はどのように向上するか？
• RQ3 フルコンテキストデータで学習する際、インプレイス知識蒸留はどの程度ストリーミング型ASRの性能を向上させるか？
• RQ4 Universal ASRフレームワークは、ContextNet や Conformer などの異なるASRアーキテクチャに一般化可能か？
• RQ5 Universal ASRは、パブリックデータセットおよび大規模な内部データセットの両方で最先端の結果を達成できるか？

主な発見

• Universal ASRは、語誤り率と発信遅延の両面で、LibriSpeechにおいて新たな最先端のストリーミング型ASRの結果を達成した。
• フルコンテキストモデリングと共同学習、およびインプレイス知識蒸留により、ストリーミング型ASRの精度が顕著に向上した。
• トレーニング中のフルコンテキスト監視のおかげで、より良いモデル推論が可能となり、ストリーミング型ASRの遅延が低減された。
• 別々にトレーニングおよび保守する必要がなくなるため、モデルデプロイメントの簡素化が実現された。
• ContextNetおよびConformerの両方の実験から、異なるアーキテクチャおよびデータセットにおいて一貫した改善が得られた。
• 大規模な内部のMultiDomainデータセットにおいても、強力な一般化性能を示し、スケーラビリティと頑健性を確認した。