[論文レビュー] Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition

Ye Bai, Jiangyan Yi+4 more|arXiv (Cornell University)|May 11, 2020

Speech Recognition and Synthesis参考文献 19被引用数 5

ひとこと要約

この論文では、注意機構を用いたフィードフォワードアーキテクチャを活用して、1回の順方向プロパゲーションで全文を生成する非自己回帰的エンドツーエンド音声認識モデルLASOを提案する。自己回帰的またはマスクされた言語モデル化を明示的に行わず、音声信号の意味的構造によってトークン間の関係を暗黙的にモデル化することで、AISHELL-1で6.4%の文字誤り率（CER）を達成し、最先端の自己回帰的トランスフォーマーを上回る性能を発揮する。同時に、推論遅延をわずか21msにまで短縮し、50倍の高速化を実現した。

ABSTRACT

Although attention based end-to-end models have achieved promising performance in speech recognition, the multi-pass forward computation in beam-search increases inference time cost, which limits their practical applications. To address this issue, we propose a non-autoregressive end-to-end speech recognition system called LASO (listen attentively, and spell once). Because of the non-autoregressive property, LASO predicts a textual token in the sequence without the dependence on other tokens. Without beam-search, the one-pass propagation much reduces inference time cost of LASO. And because the model is based on the attention based feedforward structure, the computation can be implemented in parallel efficiently. We conduct experiments on publicly available Chinese dataset AISHELL-1. LASO achieves a character error rate of 6.4%, which outperforms the state-of-the-art autoregressive transformer model (6.7%). The average inference latency is 21 ms, which is 1/50 of the autoregressive transformer model.

研究の動機と目的

• ビームサーチによるデコードに依存する自己回帰的エンドツーエンド音声認識モデルの高い推論遅延を解消すること。
• 音声信号に内蔵された暗黙的な言語的意味構造が、序列生成のための明示的自己回帰的またはマスクされた言語モデル化を置き換えることができるかを検討すること。
• 自己回帰的依存関係なしに、並列で1パスの推論を可能にする非自己回帰的アーキテクチャを構築すること。
• リアルタイム応用に適した低遅延かつ高精度な音声認識を実現すること。

提案手法

• LASOは3モジュール構造を採用する：音声特徴抽出のためのCNNベースのエンコーダ、音声とテキストの長さギャップを埋めるための位置依存要約モジュール（PDS）、およびトークンレベルの意味的精緻化のためのデコーダ。
• PDSは多頭部自己注意機構を用いてエンコーダの高レベル表現を照会し、位置に特化したコンテキストベクトルを生成する。
• デコーダはフィードフォワード注意ブロックを用いて、以前に予測されたトークンに依存せずに並列にトークンを予測する。
• モデルはエンドツーエンドでクロスエントロピー損失により学習され、推論時にはビームサーチを用いずに、各位置で最も確率の高いトークンが選択される。
• フィードフォワード注意を活用することで並列計算が可能となり、1パス推論が実現され、遅延が著しく削減される。
• 性能と耐性を向上させるために、速度変更によるデータ拡張が適用される。

実験結果

リサーチクエスチョン

• RQ1 音声信号に内蔵された暗黙的な意味構造に依存することで、明示的な自己回帰的またはマスクされた言語モデル化なしに、正確な変換を生成できるか？
• RQ2 性能と推論速度の両面で、非自己回帰的モデルは最先端の自己回帰的トランスフォーマーと比較してどのように差をつけるか？
• RQ3 フィードフォワード注意に基づくアーキテクチャは、音声認識における1パス並列推論を可能にしつつ、競争力のある性能を達成できるか？
• RQ4 モデルの性能は、音声信号から直接トークンレベルの意味を捉えることで、どの程度向上するか？
• RQ5 自己回帰的依存関係なしに、音声表現とトークン位置を正確に整合させるために、位置依存要約モジュール（PDS）はどの程度効果的か？

主な発見

• LASOはAISHELL-1テストセットで6.4%の文字誤り率（CER）を達成し、最先端の自己回帰的トランスフォーマー（6.7% CER）を上回った。
• LASOの推論遅延は1発話あたり21msであり、自己回帰的トランスフォーマーベースラインと比較して50倍の高速化を達成した。
• 速度変更を適用したLASO-bigはテストセットでCER 5.8%を達成し、データ拡張の有効性を示した。
• 自己回帰的依存関係なしに、並列で1パスの推論が可能である非自己回帰的設計のおかげで、ビームサーチなしでも性能が安定している。
• 注意スコアの可視化により、意味的に関連するトークンが関連する音声セグメントと正確に一致していることが確認された。一方、<eos>トークンは明確な一致を示さず、モデルの注意挙動が妥当であることが裏付けられた。
• PDSモジュールは、自己回帰的依存関係なしに、位置に特化した意味的表現を効果的に捉えており、正確なトークン予測を可能にした。