[論文レビュー] Low Latency End-to-End Streaming Speech Recognition with a Scout Network

Chengyi Wang, Yu Wu+5 more|arXiv (Cornell University)|Mar 23, 2020

Speech Recognition and Synthesis参考文献 31被引用数 22

ひとこと要約

本論文は、リアルタイムで語の境界を検出するスカウトネットワーク（SN）を用いた低遅延エンドツーエンドストリーミング音声認識システムを提案する。SNの境界予測を活用することで、認識ネットワーク（RN）が見通しウィンドウを動的に調整可能となり、LibriSpeech上でフレーム単位の遅延が639 msであるにもかかわらず、2.7%（test-clean）および6.4%（test-other）という最先端のWERを達成。高い精度を維持しつつ、顕著に遅延を低減した。

ABSTRACT

The attention-based Transformer model has achieved promising results for speech recognition (SR) in the offline mode. However, in the streaming mode, the Transformer model usually incurs significant latency to maintain its recognition accuracy when applying a fixed-length look-ahead window in each encoder layer. In this paper, we propose a novel low-latency streaming approach for Transformer models, which consists of a scout network and a recognition network. The scout network detects the whole word boundary without seeing any future frames, while the recognition network predicts the next subword by utilizing the information from all the frames before the predicted boundary. Our model achieves the best performance (2.7/6.4 WER) with only 639 ms latency on the test-clean and test-other data sets of Librispeech.

研究の動機と目的

• 固定見通しウィンドウに依存するストリーミングTransformer ASRモデルの高遅延を解消すること。
• 実際の語の境界に基づいて文脈ウィンドウを動的に適応させることで、ストリーミング環境における認識精度を向上させること。
• 学習可能な境界検出メカニズムを通じて、遅延と語誤り率（WER）の間の柔軟なトレードオフを可能にすること。
• 固定チャンクまたは固定ウィンドウのストリーミング手法に伴う計算的・アーキテクチャ的オーバーヘッドを低減すること。

提案手法

• 将来のコンテキストを一切使用しないフレーム単位の境界分類（語の開始/終了）を実行するスカウトネットワーク（SN）を導入し、ゼロ遅延オーバーヘッドを確保する。
• 強制アライメントを教師信号として用い、シーケンスラベル付けタスクとしてSNを学習し、しきい値ベースの意思決定により語セグメントを定義する。
• SNが予測した語の境界を基に、認識ネットワーク（RN）が予測された境界まで動的に適応する見通しウィンドウを適用する。
• フレーム同期で1回読み込み可能な、トリガーアテンション（TA）ベースのTransformerモデルをRNとして採用し、予測された語境界までに制限されたコンテキストを適用する。
• SNの出力確率にしきい値を適用することで、精度/再現率のトレードオフを制御し、遅延-WERチューニングを可能にする。
• 予測された語境界とゴールデン語境界の差異に基づき、フレーム単位および語単位の遅延メトリクスを計算する。

Figure 1: A comparison between three Transformer based streaming models.

実験結果

リサーチクエスチョン

• RQ1 ニューラル境界検出コンponentが、認識精度を損なうことなくストリーミングエンドツーエンドASRの遅延を低減できるか？
• RQ2 固定ウィンドウまたはチャンクベースの手法と比較して、動的で境界に依存する見通しは、遅延とWERの観点でどのように差がつくか？
• RQ3 語境界検出の精度が、最終的な認識性能にどの程度影響を与えるか？
• RQ4 ゴールデン語境界が、オフラインモデル即ち、ストリーミング環境でも上回ることができるか？

主な発見

• 提案手法は、LibriSpeech test-cleanで2.7%、test-otherで6.4%という最先端のWERを達成し、フレーム単位の遅延は639 msにとどまる。
• SNのしきい値を高く設定（σ=0.9）した場合、WERは2.9%（clean）および7.4%（other）に低下し、遅延は619 msに維持される。固定ウィンドウTAベースライン（2190 ms遅延）を上回る性能を示した。
• ゴールデン語境界を用いたモデルは、2.1%および5.3%のWERを達成し、オフラインモデルをも上回った。正確な境界情報の価値を示している。
• SNのしきい値を高くすることで境界の正確性（再現率）が向上し、結果としてWERが低下した。境界検出の改善が認識品質の向上に寄与することを確認した。
• パラメータ数138Mの大型モデルは、2.7%および6.4%のWERを達成し、LibriSpeech上でのストリーミングE2E ASRの新たなSOTAを樹立した。
• 語単位の遅延は平均352 msであり、システムが非常に反応が良く、リアルタイム応用に適していることを示している。

Figure 2: The distribution of segment length for different threshold. The blue area shows the density. The deep blue lines represent the mean values. The white markers represent the median values and the black vertical lines represent the interquartile ranges.