[論文レビュー] End-to-End Multi-speaker Speech Recognition with Transformer

Xuankai Chang, Wangyou Zhang+3 more|arXiv (Cornell University)|Feb 10, 2020

Speech Recognition and Synthesis参考文献 28被引用数 5

ひとこと要約

本稿では、単一およびマルチチャネル環境下で、エンティティレベルのマルチスプーカー音声認識を、RNNの代わりにTransformerモデルを用いたエンドツーエンドのアプローチで実現する。ASRバックエンドでRNNを置き換え、計算効率を高めるために自己注意機構を局所的セグメントに制限する。これにより、非反響環境下の単一およびマルチチャネル設定でそれぞれ40.9%および25.6%の相対的WER低減が達成され、反響環境下では外部のWPEデリバーバーション処理を組み合わせることで、41.5%および13.8%の相対的WER低減が得られた。

ABSTRACT

Recently, fully recurrent neural network (RNN) based end-to-end models have been proven to be effective for multi-speaker speech recognition in both the single-channel and multi-channel scenarios. In this work, we explore the use of Transformer models for these tasks by focusing on two aspects. First, we replace the RNN-based encoder-decoder in the speech recognition model with a Transformer architecture. Second, in order to use the Transformer in the masking network of the neural beamformer in the multi-channel case, we modify the self-attention component to be restricted to a segment rather than the whole sequence in order to reduce computation. Besides the model architecture improvements, we also incorporate an external dereverberation preprocessing, the weighted prediction error (WPE), enabling our model to handle reverberated signals. Experiments on the spatialized wsj1-2mix corpus show that the Transformer-based models achieve 40.9% and 25.6% relative WER reduction, down to 12.1% and 6.4% WER, under the anechoic condition in single-channel and multi-channel tasks, respectively, while in the reverberant case, our methods achieve 41.5% and 13.8% relative WER reduction, down to 16.5% and 15.2% WER.

研究の動機と目的

• エンドツーエンドのASRモデルにおいて、単一およびマルチチャネル設定の両方でRNNをTransformerに置き換えることで、マルチスプーカー音声認識の性能を向上させること。
• 長時間信号処理における標準的なTransformerの高メモリ消費量を解消するため、ニューラルビームフォーマーのフロントエンドで自己注意を局所的コンテキスト窓に制限すること。
• 外部のWPEデリバーバーション前処理ステップを統合することで、反響環境下での耐性を高めること。
• 空間化されたWSJ1-2mixコーパスを用いて、非反響および反響環境下の両方で、提案アーキテクチャの有効性を評価すること。

提案手法

• エンドツーエンドのASRモデルにおけるRNNベースのエンコーダデコーダを、単一およびマルチチャネル両設定でTransformerアーキテクチャに置き換える。
• ニューラルビームフォーマーのマスキングネットワークにおける自己注意機構を、局所的時間窓内でのみ動作するように変更し、メモリおよび計算コストを削減する。
• 重み付き予測誤差（WPE）アルゴリズムを外部前処理ステップとして統合し、ASRモデルへの入力前に部屋の反響を低減する。
• CTCとクロスエントロピー損失を統合して訓練し、Transformerバックエンドが分離された音声ストリームを変換できるように学習させる。
• 主な認識エンコーダの前に、スプーカーを区別するエンコーダを用いて、混合音声から複数のスプーカーの音声を分離する。
• 非反響およびデリバーバーション処理済みの訓練データを組み合わせたマルチコンditionド・トレーニングを適用し、実世界の条件での耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Transformerは、単一およびマルチチャネル音声認識の両方で、エンドツーエンドのマルチスプーカーASRにおいてRNNを上回る性能を発揮できるか？
• RQ2 長時間信号処理における自己注意の計算コストを、性能を損なわずにどのように低減できるか？
• RQ3 外部のWPEデリバーバーション処理を、Transformerベースのモデルと組み合わせることで、反響環境下でのASR性能にどの程度向上効果をもたらすか？
• RQ4 完全にTransformerベースのフロントエンド（マスキングネットワーク）は、マルチチャネルマルチスプーカー認識においてRNNベースのフロントエンドを上回る性能を発揮するか？
• RQ5 提案モデルの性能は、非反響および反響環境下の両方で、従来のRNNベースのシステムと比較してどの程度優れているか？

主な発見

• Transformerベースのモデルは、単一チャネルの非反響環境下で40.9%の相対的WER低減を達成し、評価セットで12.1%のWERにまで低下した。
• マルチチャネルの非反響環境下では、25.6%の相対的WER低減が達成され、評価セットで6.4%のWERにまで低下した。
• 反響環境下では、単一チャネル設定で41.5%の相対的WER低減が達成され、WPE前処理後にWERが28.21%から16.50%に低下した。
• WPE前処理を適用したマルチチャネルモデルでは、13.8%の相対的WER低減が達成され、評価WERが15.24%まで低下した。
• 完全にTransformerベースのフロントエンドは、反響環境下でわずかに性能を低下させた可能性があり、これは限定的な注目窓サイズ（約0.3秒）に起因すると考えられるため、アーキテクチャの最適化の余地がある。
• WPE前処理とTransformerバックエンドの組み合わせにより、非反響と反響環境下の性能ギャップが顕著に縮小され、耐性が著しく向上した。