[論文レビュー] Label-Synchronous Neural Transducer for End-to-End ASR

Keqi Deng, Philip C. Woodland|arXiv (Cornell University)|Jul 6, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、ラベル同期型ニューラルトランスデューサー（LS-Transducer）を提案する。これは、自己回帰的統合・放電（AIF）機構を用いてラベルレベルのエンコーダ表現を生成することで、ブランクトークンの予測を排除したストリーミング型エンドツーエンドASRモデルであり、テキストのみのデータを用いた予測ネットワークの直接的適応を可能にする。LS-Transducerは、クロスドメイン設定において標準的なニューラルトランスデューサーと比較して最大19％の相対的WER低減を達成しており、イントラドメインおよびクロスドメインの両状況で顕著な向上を示す。

ABSTRACT

Neural transducers provide a natural way of streaming ASR. However, they augment output sequences with blank tokens which leads to challenges for domain adaptation using text data. This paper proposes a label-synchronous neural transducer (LS-Transducer), which extracts a label-level encoder representation before combining it with the prediction network output. Hence blank tokens are no longer needed and the prediction network can be easily adapted using text data. An Auto-regressive Integrate-and-Fire (AIF) mechanism is proposed to generate the label-level encoder representation while retaining the streaming property. In addition, a streaming joint decoding method is designed to improve ASR accuracy. Experiments show that compared to standard neural transducers, the proposed LS-Transducer gave a 10% relative WER reduction (WERR) for intra-domain Librispeech-100h data, as well as 17% and 19% relative WERRs on cross-domain TED-LIUM2 and AESRC2020 data with an adapted prediction network.

研究の動機と目的

• エンドツーエンドASRにおけるドメイン適応の課題、特にターゲットドメインのラベル付きデータが不足する状況に対処すること。
• テキストのみのデータを用いた言語モデルの適応が困難になるブランクトークン予測を排除すること。
• ブランクトークン生成から予測ネットワークを分離することで、予測ネットワークを単独の言語モデルとして機能可能にすること。
• ストリーミング推論の能力を維持しつつ、アラインメント精度と音声境界誤差に対するロバスト性を向上させること。
• 遅延を増加させることなく、精度を向上させるストリーミング共同デコード法を設計すること。

提案手法

• LS-Transducerは、ブランクトークンの予測を排除し、予測ネットワーク出力との融合前にラベルレベルのエンコーダ表現を抽出することで実現する。
• 自己回帰的統合・放電（AIF）機構により、学習可能な注意重みを用いてフレームレベルのエンコーダ出力を蓄積し、ラベルレベルの表現を生成する。
• AIF機構は単調なアラインメントを保証し、閾値1.0で重みを分割することでラベル表現を出力し、不正確な境界に対してもロバスト性を向上させる。
• 予測ネットワークはブランク予測から分離されており、テキストデータのみを用いて事前学習またはファインチューニング可能であり、標準的な言語モデルを模倣する。
• 遅延を増加させることなく、ビームサーチ中の探索空間を最適化することで精度を向上させるストリーミング共同デコード法を導入する。
• モデルは入力フレームをリアルタイムで処理し、ラベルレベルの表現と同期してラベルを出力することで、ストリーミング能力を維持する。

Fig. 1 : Illustration of the CIF [ 14 ] mechanism. $\bm{\oplus}$ and $\bm{\otimes}$ denote addition and multiplication. $\mathbf{E}=(\bm{e_{1}},\cdots,\bm{e_{T}})$ represents the encoder output and $\bm{\alpha}=(\alpha_{1},\cdots,\alpha_{T})$ denotes predicted weights whose example values $(0.2,0.9,

実験結果

リサーチクエスチョン

• RQ1 ブランクトークンの予測を排除しながら、ストリーミング推論とアラインメント精度を維持できるようにニューラルトランスデューサーを再設計できるか？
• RQ2 ストリーミングASRに適した効率的かつロバストなラベルレベルエンコーダ表現をどのように生成できるか？
• RQ3 ブランクトークンの予測がなくなる場合、テキストデータのみを用いて予測ネットワークを効果的に適応できるか？
• RQ4 提案されたAIF機構は、連続的統合・放電（CIF）のような既存手法よりもWERとロバスト性において優れているか？
• RQ5 LS-Transducerは、標準的および因子分解型ニューラルトランスデューサーと比較して、イントラドメインおよびクロスドメインのASRシナリオにおいて優れた性能を達成できるか？

主な発見

• LS-Transducerは、イントラドメインのLibriSpeech-100hデータにおいて、標準的なニューラルトランスデューサーと比較して10％の相対的WER低減を達成した。
• クロスドメインのTED-LIUM2およびAESRC2020データにおいて、適応された予測ネットワークを用いてそれぞれ17％および19％の相対的WER低減を達成した。
• AIF機構はベースラインのCIF手法を上回り、クリーンなLibriSpeech開発セットではWERを2.8ポイント、その他のセットでは2.4ポイント低減した。
• 標準的なTransformer-Pred T-Tモデルで予測ネットワークを事前学習すると性能が低下したが、LS-Transducerは劣化を伴わずに事前学習済み言語モデルを自然に活用できた。
• LS-TransducerはHATおよび因子分解型T-Tモデルを、全テストセットで8.1％から15.4％の相対的WER低減で上回り、有意水準0.1％で統計的に有意であった。
• 提案されたストリーミング共同デコード法は、ビームサーチ中の探索空間を最適化することで精度を向上させ、全体の性能向上に寄与した。

Fig. 2 : Illustration of the proposed LS-Transducer. FC is a fully connected layer. $L$ and $V$ are the length and vocabulary size of label-level logits. $\bm{\oplus}$ denotes addition.