[論文レビュー] Back-Translation-Style Data Augmentation for End-to-End ASR

Tomoki Hayashi, Shinji Watanabe+5 more|arXiv (Cornell University)|Jul 28, 2018

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、音声とテキストがペアになっていない未使用テキストを活用するバックトランスレーション風のデータ拡張手法を、エンドツーエンド自動音声認識（E2E-ASR）に対して提案する。この手法では、事前に学習済みのE2E-ASRエンコーダーの隠れ状態を予測するテキストからエンコーダー（TTE）モデルを訓練することで、未使用テキストを活用する。生成された隠れ状態を追加の訓練データとして用いることで、ペアの音声・テキストデータを必要とせずに、ASRデコーダーの性能が向上し、未知語率が低下する。LibriSpeechでの実験では、CERとWERの両面で顕著な向上が得られた。

ABSTRACT

In this paper we propose a novel data augmentation method for attention-based end-to-end automatic speech recognition (E2E-ASR), utilizing a large amount of text which is not paired with speech signals. Inspired by the back-translation technique proposed in the field of machine translation, we build a neural text-to-encoder model which predicts a sequence of hidden states extracted by a pre-trained E2E-ASR encoder from a sequence of characters. By using hidden states as a target instead of acoustic features, it is possible to achieve faster attention learning and reduce computational cost, thanks to sub-sampling in E2E-ASR encoder, also the use of the hidden states can avoid to model speaker dependencies unlike acoustic features. After training, the text-to-encoder model generates the hidden states from a large amount of unpaired text, then E2E-ASR decoder is retrained using the generated hidden states as additional training data. Experimental evaluation using LibriSpeech dataset demonstrates that our proposed method achieves improvement of ASR performance and reduces the number of unknown words without the need for paired data.

研究の動機と目的

• 音声信号とペアになっていない大量の未使用テキストを、エンドツーエンドASRの性能向上に活用すること。
• 注意機構に基づくE2E-ASRモデルが、別個の言語モデルモジュールを持たないために、大規模な未使用テキストを効果的に活用できないという制限を克服すること。
• 生の音響特徴ではなく、隠れ状態をターゲットとして用いることで、計算コストを低減し、注意機構の学習を加速すること。
• サブサンプリングされたエンコーダー表現を活用することで、合成データ生成における過学習と話者固有のバイアスを軽減すること。
• 音声合成や発音記号ベースの生成パイプラインを必要とせずに、効果的なデータ拡張を可能にすること。

提案手法

• 文字列から事前に学習済みのE2E-ASRエンコーダーの隠れ状態を予測するテキストからエンコーダー（TTE）モデルを訓練する。
• 生の音響特徴の代わりに、サブサンプリングされたエンコーダー出力から得られる隠れ状態をターゲットとして用いることで、計算コストを低減し、話者の変動をモデル化しなくてよいようにする。
• 注意機構の学習速度を向上させるとともに、自己符号化器のような挙動を防ぐために、平均二乗誤差とL1ノルム損失の組み合わせを用いてTTEモデルを訓練する。
• 訓練済みのTTEモデルを用いて、大量の未使用テキストコーパスから合成された隠れ状態を生成する。
• オリジナルの訓練データに加え、生成された隠れ状態を追加の監視信号として用いて、E2E-ASRデコーダーを再訓練する。
• 提案手法を、文字ベースの言語モデルを用いたシャロウフュージョンと組み合わせることで、さらなる認識性能の向上を図る。

Fig. 1 : Overview of proposed back-translation-style data augmentation method.

実験結果

リサーチクエスチョン

• RQ1 ペアの音声・テキストデータを必要とせずに、未使用テキストを効果的に活用してエンドツーエンドASRの性能を向上させることができるか？
• RQ2 TTEモデルにおいて、生の音響特徴の代わりにASRエンコーダーの隠れ状態をターゲットとして用いることで、注意機構の学習が生の音響特徴を用いる場合よりも速く、かつ効率的に行えるか？
• RQ3 バックトランスレーション風の手法によって生成された合成データは、ASR認識における未知語の数を削減できるか？
• RQ4 生の音響特徴の代わりに隠れ状態を用いることで、合成データにおけるモデルの一般化性能と話者変動への影響はどのように変化するか？
• RQ5 提案手法は、既存の言語モデル統合技術（例：シャロウフュージョン）と効果的に組み合わせられるか？

主な発見

• 提案手法を用いることで、LibriSpeechのバリデーションセットでは語誤り率（WER）が23.0％から21.6％に低下し、評価セットでは22.9％から22.0％に低下した（言語モデルを組み合わせた場合）。
• TTEモデルの目的関数にL1ノルム損失を組み込むことで、注意機構の学習が加速し、平均二乗誤差のみを用いた場合と比較して、学習エポック数の3分の1未満で有効な注意機構が学習可能となった。
• 生成された隠れ状態のみでデコーダーを再訓練した場合、過学習が生じて性能向上が得られなかったため、合成データとオリジナルデータを併用することが不可欠であることが示された。
• 合成データを活用することで、デコーダーの言語モデルの能力を活かし、語彙カバレッジが向上した。その結果、未知語の数が有意に削減された。
• シャロウフュージョンと組み合わせても有効であることが確認され、バリデーションセットおよびテストセットの両方で認識性能が向上した。
• 結果から、生成された隠れ状態における話者変動は限定的であることが示唆された。今後の研究では、マルチスプーカーのモデリングを組み込むことで、データの多様性を向上させるべきである。

(a) Attetion-based ASR model