[論文レビュー] Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders

Xu Chen, Bojie Hu+6 more|arXiv (Cornell University)|May 12, 2021

Natural Language Processing Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、アダプタモジュールとマルチティーチャー知識蒸留を用いて、事前学習済みASRおよびMTエンコーダーをスタックすることで統合する、新しいエンドツーエンド音声翻訳フレームワーク「スタックド音声・テキスト符号化（SATE）」を提案する。この手法は、大規模な事前学習データが利用可能な状況で、LibriSpeech En-Frで18.3、MuST-C En-Deで25.2のSOTA BLEUスコアを達成した。

ABSTRACT

Encoder pre-training is promising in end-to-end Speech Translation (ST), given the fact that speech-to-translation data is scarce. But ST encoders are not simple instances of Automatic Speech Recognition (ASR) or Machine Translation (MT) encoders. For example, we find that ASR encoders lack the global context representation, which is necessary for translation, whereas MT encoders are not designed to deal with long but locally attentive acoustic sequences. In this work, we propose a Stacked Acoustic-and-Textual Encoding (SATE) method for speech translation. Our encoder begins with processing the acoustic sequence as usual, but later behaves more like an MT encoder for a global representation of the input sequence. In this way, it is straightforward to incorporate the pre-trained models into the system. Also, we develop an adaptor module to alleviate the representation inconsistency between the pre-trained ASR encoder and MT encoder, and develop a multi-teacher knowledge distillation method to preserve the pre-training knowledge. Experimental results on the LibriSpeech En-Fr and MuST-C En-De ST tasks show that our method achieves state-of-the-art BLEU scores of 18.3 and 25.2. To our knowledge, we are the first to develop an end-to-end ST system that achieves comparable or even better BLEU performance than the cascaded ST counterpart when large-scale ASR and MT data is available.

研究の動機と目的

• エンドツーエンド音声翻訳（E2E ST）における音声翻訳データの限界に取り組む。
• エンドツーエンドSTにおいて、ASRおよびMTモデルの事前学習がカスケードシステムに比べて性能を発揮しない理由を調査する。
• 音声およびテキスト表現学習を効果的に統合するための統一されたエンコーダー構造を設計する。
• ファインチューニング中に事前学習知識を保持し、ASRおよびMTエンコーダー間の表現不一致を解消する。

提案手法

• 音声特徴を事前学習済みASRエンコーダーで処理し、その出力をアダプタモジュール経由で事前学習済みMTエンコーダーに渡す、スタックドエンコーダー構造を提案する。
• 音声エンコーダーとテキストエンコーダー間の表現ギャップを埋めるために、3つのバリエーション（ソフト、マッピング、ファージョン）を持つアダプタモジュールを導入する。
• ファインチューニング段階で、事前学習済みASRおよびMTモデルからE2E STモデルへの知識蒸留を実施する。
• 2段階の訓練プロセスを採用する：ASRおよびMTデータでの事前学習の後、STデータでのエンドツーエンドファインチューニングを知識蒸留とともに実施する。
• 局所性解析を用いて、SATEモデルが局所的な音声パターン（ASRに類似）とグローバルな言語的依存関係（MTに類似）を学習していることを検証する。
• 残差接続とレイヤーナーマライゼーションを適用して、訓練の安定性と勾配の流れを改善する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、単独で使用された事前学習済みASRおよびMTモデルは、エンドツーエンド音声翻訳の性能向上に失敗するのか？
• RQ2 事前学習済みASRおよびMTエンコーダーを、1つのE2E STエンコーダーに効果的に統合するにはどうすればよいか？
• RQ3 統一されたE2E STモデルにおいて、ASRおよびMTエンコーダー間の表現不一致を緩和するメカニズムは何か？
• RQ4 マルチティーチャー知識蒸留は、ファインチューニング中に事前学習知識を保持し、ST性能を向上させることができるか？
• RQ5 大規模な事前学習データが利用可能な状況で、提案されたSATE手法はカスケードSTシステムを上回る性能を達成できるか？

主な発見

• SATEは、制限なし設定下でMuST-C En-DeベンチマークでSOTAの25.2 BLEUスコアを達成し、28.1 BLEUのカスケードベースラインを上回った。
• LibriSpeech En-Frタスクでは18.3 BLEUを達成し、標準ベンチマークにおける強力な性能を示した。
• SATEはカスケードベースライン比最大1.69倍のインファレンス速度向上を達成し、効率性の向上を示した。
• ファージョンベースのアダプタモジュールが最良の性能を示し、ソフト表現より0.3ポイント、マッピングバージョンより0.6ポイントのBLEU向上を達成した。
• アブレーションスタディの結果、任意の事前学習モジュールを削除すると性能が著しく低下し、特にノイズの多い音声ではASRエンコーダーの影響が最も大きかった。
• 局所性解析の結果、SATEはASRに類似した局所的な音声パターンとMTに類似したグローバルな言語的依存関係を両方学習していることが確認され、スタックドアーキテクチャの成功が裏付けられた。