[論文レビュー] On Using SpecAugment for End-to-End Speech Translation

Parnia Bahar, Albert Zeyer+2 more|RWTH Publications (RWTH Aachen)|Nov 2, 2019

Natural Language Processing Techniques参考文献 41被引用数 23

ひとこと要約

この論文は、エンドツーエンドの音声翻訳（ST）モデルにおける音声特徴にランダムな時間および周波数マスキングを適用する低コストなスペクトログラム増強手法であるSpecAugmentを調査している。過学習の低減と一般化性能の向上により、特にデータが少ない状況で、LibriSpeech Audiobooks En→Frで最大+2.2% BLEU、IWSLT TED-talks En→Deで最大+1.2% BLEUの向上を達成した。

ABSTRACT

This work investigates a simple data augmentation technique, SpecAugment, for end-to-end speech translation. SpecAugment is a low-cost implementation method applied directly to the audio input features and it consists of masking blocks of frequency channels, and/or time steps. We apply SpecAugment on end-to-end speech translation tasks and achieve up to +2.2% BLEU on LibriSpeech Audiobooks En→Fr and +1.2% on IWSLT TED-talks En→De by alleviating overfitting to some extent. We also examine the effectiveness of the method in a variety of data scenarios and show that the method also leads to significant improvements in various data conditions irrespective of the amount of training data.

研究の動機と目的

• SpecAugmentがエンドツーエンドの音声翻訳性能を向上させるかどうかを評価すること。
• 過学習が大きな課題となるデータが少ない状況において、その有効性を調査すること。
• 訓練データのサイズに関わらず、モデルの一般化性能とロバスト性が向上するかどうかを評価すること。
• SpecAugmentがSTモデルにおける事前学習戦略と互換性を持つかどうかを調査すること。

提案手法

• SpecAugmentは、メルスペクトログ램特徴にランダムマスキングを適用する：連続する時間ステップに対する時間マスキングと、連続するメル周波数チャンネルに対する周波数マスキング。
• 時間マスキングは、τ個の連続する時間フレームをゼロに設定する。τは一様分布 [0, R] から抽出され、開始位置 t は [0, T) から一様に抽出され、インデックスの範囲外を避ける。
• 周波数マスキングは、φ個の連続する周波数ビンをゼロに設定する。φは一様分布 [0, F] から抽出され、開始周波数 f は [0, ν) から一様に抽出され、ν はメルビンの数である。
• 複数のマスクが重複なしで適用され、時間マスク数（mR）と周波数マスク数（mF）はハイパーパrameterである。
• この手法は訓練時のみに適用され、STモデルへの入力前の生の音声特徴に適用され、モデルアーキテクチャの変更は行わない。
• アプローチは、2つのSTベンチマーク（LibriSpeech Audiobooks En→Fr および IWSLT TED-talks En→De）で評価され、データ量と事前学習のアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 SpecAugmentは、リソースが限られた音声翻訳タスクにおいて、エンドツーエンドの音声翻訳性能を向上させるか？
• RQ2 訓練データ量が少から多くにわたる状況において、SpecAugmentの性能はどのように変化するか？
• RQ3 限定的な並列音声対テキストデータで訓練されたエンドツーエンドSTモデルにおいて、SpecAugmentは過学習を軽減できるか？
• RQ4 SpecAugmentは、STモデルにおける事前学習戦略と組み合わせても有効性を示すか？

主な発見

• ベースラインの直接STモデルと比較して、SpecAugmentはLibriSpeech Audiobooks En→Frで最大+2.2% BLEU、IWSLT TED-talks En→Deで最大+1.2% BLEUの向上を達成した。
• 過学習が低減され、一般化性能が向上し、すべてのデータ環境で一貫した向上が見られた。特に47kセグメントにデータを半分にした場合でも同様の効果が得られた。
• LibriSpeechでは、事前学習と組み合わせたSpecAugmentが開発セットで18.5% BLEU、テストセットで16.2% BLEUを達成し、事前学習モデル単体よりも0.5% BLEUの向上を示した。
• 訓練データを47kセグメントに削減した場合、SpecAugmentは完全データベースラインと比較して1.8%の絶対BLEU向上と2.8%のTER低減を達成した。
• LSTMベースおよびTransformerベースのエンドツーエンドSTモデルの両方を上回り、別個の機械翻訳（MT）モデルを用いた知識蒸留の性能に匹敵した。
• SpecAugmentは、事前学習と組み合わせても有効であったため、データが少ない状況では、事前学習の補完的役割または部分的代替として機能可能であると考えられる。