[論文レビュー] Curriculum Pre-training for End-to-End Speech Translation

Chengyi Wang, Yu Wu+3 more|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 30被引用数 14

ひとこと要約

本論文は、エンドツーエンド音声翻訳のためのカリキュラム事前学習手法を提案する。この手法は、段階的に音声認識（ASR）、文の理解（フレームベースのマスク言語モデル化）、および多言語間語彙マッピング（フレームベースの二国語語彙翻訳）の各タスクをエンコーダーで学習する。この方法により、LibriSpeech En-DeおよびIWSLT18 En-Frベンチマークで顕著な性能向上が達成され、LibriSpeech拡張設定では18.01 BLEU、IWSLTベース設定では16.27 BLEUを達成した。

ABSTRACT

End-to-end speech translation poses a heavy burden on the encoder, because it has to transcribe, understand, and learn cross-lingual semantics simultaneously. To obtain a powerful encoder, traditional methods pre-train it on ASR data to capture speech features. However, we argue that pre-training the encoder only through simple speech recognition is not enough and high-level linguistic knowledge should be considered. Inspired by this, we propose a curriculum pre-training method that includes an elementary course for transcription learning and two advanced courses for understanding the utterance and mapping words in two languages. The difficulty of these courses is gradually increasing. Experiments show that our curriculum pre-training method leads to significant improvements on En-De and En-Fr speech translation benchmarks.

研究の動機と目的

• 標準的な事前学習は音声認識に限定され、上位レベルの言語的知識や多言語間知識を無視するという限界を是正すること。
• 事前学習段階でエンコーダーに意味的理解力と二国語語彙マッピング能力を付与することで、デコーダーの負担を軽減すること。
• 段階的で難易度が増す事前学習カリキュラムを通じて、エンドツーエンド音声翻訳の性能を向上させること。
• タスク固有のレイヤー割り当てを伴う階層的事前学習が、モデルの学習効率と転移性を向上させるかどうかを調査すること。

提案手法

• 3段階のカリキュラム事前学習パイプラインを提案：(1) 記録済み音声でのASR事前学習、(2) フレームベースのマスク言語モデル化（FMLM）による文の意味理解の学習、(3) フレームベースの二国語語彙翻訳（FBLT）による多言語間語彙マッピングの学習。
• 完全に語に対応した音声セグメントをマスクし、エンコーダーがマスクされた内容を予測するように学習することで、FMLMタスクを設計。これにより文法的・意味的理解が促進される。
• 各ソース語に該当する音声セグメントに対して、ターゲット言語語彙を予測するFBLTタスクを設計。これにより明示的な多言語間の監視信号が提供される。
• 階層的事前学習を実装：最初の8層のエンコーダーはASRとFMLMで学習され、最後の4層はFBLTで学習される。これによりレイヤーごとの特化が可能になる。
• 2段階の訓練戦略を採用：まずASRとFMLMで事前学習し、その後FBLTでファインチューニングすることで、安定した学習進行を確保。
• ハイパーパrameterを最適化し、特にASRおよびFMLM事前学習に使用する層数$N$に注目。$N=8$が最適な性能をもたらすことが判明。

実験結果

リサーチクエスチョン

• RQ1 段階的に難易度が増すタスク（音声認識、文の理解、多言語間マッピング）をエンコーダーで事前学習することで、エンドツーエンド音声翻訳の性能が向上するか？
• RQ2 フレームベースのマスク言語モデル化（FMLM）を導入することで、エンコーダーの発話レベルの意味理解能力が向上するか？
• RQ3 フレームベースの二国語語彙翻訳（FBLT）は、エンコーダーが言語間で語をマッピングする能力を効果的に学習させ、デコーダーの負担を軽減できるか？
• RQ4 タスク固有のレイヤー割り当てを伴う階層的・段階的カリキュラム事前学習戦略は、単一段階またはマルチタスク事前学習よりも効果的か？
• RQ5 異なる事前学習タスクに割り当てるエンコーダー層の選択が、最終的なST性能に与える影響は何か？

主な発見

• 提案されたカリキュラム事前学習手法は、LibriSpeech拡張設定で18.01 BLEUを達成し、ベースラインのE2E Transformer STモデルを顕著に上回った。
• IWSLT18ベース設定では16.27 BLEUを達成し、以前の最高成績を記録したカスケードモデル（LSTM ASR+MT）の14.0 BLEUを上回った。
• アブレーションスタディの結果、FMLMまたはFBLTタスクを削除すると性能が低下（それぞれ17.62および17.65 BLEU）し、両タスクが有益であることが確認された。
• 2番目の事前学習フェーズ（すなわち、ASRでのみ学習）を省略すると、性能が著しく低下し16.90 BLEUにまで下がった。これは高度なコースの必要性を示している。
• マルチタスク事前学習（ASR、FMLM、FBLTを1フェーズで実施）はカリキュラム学習（14.82 BLEU）を下回り、段階的学習がより効果的であることが示された。
• 最適なハイパーパrameter設定では、ASRおよびFMLM事前学習に8層を割り当て、残りの4層をFBLTに割り当て、最高のBLEUスコア18.01を達成した。