[論文レビュー] Synchronous Transformers for End-to-End Speech Recognition

Zhengkun Tian, Jiangyan Yi+4 more|arXiv (Cornell University)|Dec 6, 2019

Speech Recognition and Synthesis参考文献 19被引用数 5

ひとこと要約

本論文では、固定長の入力チャンクを処理し、同期的にデコードすることで、オンラインでストリーミング推論を可能にする、Synchronous Transformer (Sync-Transformer) と呼ばれる新しいエンドツーエンド音声認識モデルを提案する。エンコーダーにおける自己注意機構に未来のコンテキストへの注目を制限し、トレーニング時に全アライメントパスを最適化する前方後方アルゴリズムを用いることで、AISHELL-1中国語データセットにおいて文字誤り率 (CER) 8.91% を達成した。これは、非ストリーミングのTransformerモデルと同等の性能を発揮するとともに、リアルタイムでのデプロイメントを可能にする。

ABSTRACT

For most of the attention-based sequence-to-sequence models, the decoder predicts the output sequence conditioned on the entire input sequence processed by the encoder. The asynchronous problem between the encoding and decoding makes these models difficult to be applied for online speech recognition. In this paper, we propose a model named synchronous transformer to address this problem, which can predict the output sequence chunk by chunk. Once a fixed-length chunk of the input sequence is processed by the encoder, the decoder begins to predict symbols immediately. During training, a forward-backward algorithm is introduced to optimize all the possible alignment paths. Our model is evaluated on a Mandarin dataset AISHELL-1. The experiments show that the synchronous transformer is able to perform encoding and decoding synchronously, and achieves a character error rate of 8.91% on the test set.

研究の動機と目的

• 標準のアテンションベースのシーケンス・トゥ・シーケンスモデルにおける非同期なエンコーディング・デコーディング問題を解消し、オンライン音声認識を可能にする。
• 各固定長入力チャンクの処理後に即座に出力を生成できるようにすることで、リアルタイムでストリーミング推論を実現する。
• 非ストリーミングのTransformerモデルと同等の高い認識精度を維持しながら、オンラインデプロイメントを可能にする。
• 強制アライメントや複雑なアテンション機構に依存せずに、前方後方アルゴリズムを用いて全可能なアライメントパスを最適化するトレーニング手法を開発する。

提案手法

• エンコーダーでは因果的自己注意機構を用い、各トークンが未来のコンテキストに注目しないように制限することで、未来のトークンに依存しないようにする。
• 入力シーケンスは、固定長Wの重複するチャンクに分割され、隣接するチャンク間に重複長Bを設けることで、滑らかな情報伝達を確保する。
• デコーダーはエンコーダーの各チャンクが処理された後、即座に出力シンボルをチャンク単位で生成する。
• トレーニング段階では、前方後方アルゴリズムを適用し、全可能なアライメントパスの和を計算することで、RNN-Transducer や SA-T と同様の負の対数尤度損失を算出する。
• 2次元畳み込み層をフロントエンドとして用い、入力特徴シーケンスをダウンサンプリングし、エンコーダー処理の前に高次元空間に投影する。
• Transformerと自己注意型トランスダーアーキテクチャ (SA-T) の長所を組み合わせることで、エンドツーエンドで、ストリーミング可能で高精度な音声認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルは、オンライン音声認識をサポートするための同期的エンコーディング・デコーディングを達成できるか？
• RQ2 自己注意機構を左コンテキストに制限することで、モデルの性能とストリーミング能力にどのような影響を与えるか？
• RQ3 RNN や強制アライメントに依存せずに、自己注意機構ベースのモデルで前方後方アルゴリズムがアライメントパスを効果的に最適化できるか？
• RQ4 ストリーミング環境で認識精度を維持するための、チャンク長とオーバーラップの最適なバランスは何か？
• RQ5 LAS や RNN-T や標準Transformerなどの既存のエンドツーエンドモデルと比較して、提案モデルの精度と推論効率はどのように異なるか？

主な発見

• Sync-Transformerは、AISHELL-1テストセットで文字誤り率 (CER) 8.91% を達成し、非ストリーミングのTransformerモデルと同等の性能を示した。
• チャンク長10、オーバーラップ長3の設定が最良の性能を示し、0、1、2、4のオーバーラップ長の設定を上回った。
• 従来のRNNフリーのトランスダーモデルであるChunk-Flow SA-T よりも優れた性能を示し、CERは9.80%（対比8.91%）であり、デコーディングステップ数も少なかった。
• Sync-Transformerは、完全な自己注意機構を備えたTransformer（テストセットでCER 8.64%）と比較してわずかな精度の低下しかなく、オンラインでストリーミング推論を可能にした。
• RNN-T や SA-T よりも少ないデコーディングステップ数を要し、推論時のメモリと時間コストを削減した。
• 削除誤りがわずかに増加し、音声的に類似した単語との混同が顕著に見られたため、耐性の向上に改善の余地がある。