[論文レビュー] Bridging the Gap between Pre-Training and Fine-Tuning for End-to-End Speech Translation

Chengyi Wang, Yu Wu+3 more|arXiv (Cornell University)|Sep 17, 2019

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本稿では、自己注意機構の事前学習、すべてのサブネットワークの再利用、および一貫した役割分担を通じて、事前学習と微調整のギャップを埋める、エンドツーエンド音声翻訳のためのTandem Connectionist Encoding Network（TCEN）を提案する。共有のプロジェクション行列と長さを逆にするデータ拡張により、音声表現とテキスト表現の間で意味的整合性と長さの整合性を強制することで、LibriSpeech En-Frで最高17.05のBLEUスコアを達成する。

ABSTRACT

End-to-end speech translation, a hot topic in recent years, aims to translate a segment of audio into a specific language with an end-to-end model. Conventional approaches employ multi-task learning and pre-training methods for this task, but they suffer from the huge gap between pre-training and fine-tuning. To address these issues, we propose a Tandem Connectionist Encoding Network (TCEN) which bridges the gap by reusing all subnets in fine-tuning, keeping the roles of subnets consistent, and pre-training the attention module. Furthermore, we propose two simple but effective methods to guarantee the speech encoder outputs and the MT encoder inputs are consistent in terms of semantic representation and sequence length. Experimental results show that our model outperforms baselines 2.2 BLEU on a large benchmark dataset.

研究の動機と目的

• エンドツーエンド音声翻訳モデルにおける事前学習と微調整の大きなギャップを解消すること。
• 機械翻訳（MT）エンコーダーを含む、すべての事前学習済みコンponentsを再利用することで、サブネットワークの無駄を回避すること。
• 音声と言語の特徴抽出を分離することで、事前学習と微調整の間で役割の一貫性を保証すること。
• 翻訳タスクに適したアテンションモジュールを事前学習し、事前学習段階で得られたアライメント知識を活用すること。
• 音声エンコーダー出力とMTエンコーダー入力の間で、意味的整合性とシーケンス長の一貫性を確保すること。

提案手法

• 音声エンコーダー、テキストエンコーダー、ターゲットデコーダーを備えたTandem Connectionist Encoding Network（TCEN）を提案。音声エンコーダーはデコーダーなしでCTC損失を用いて事前学習される。
• 事前学習済みのMTエンコーダーとデコーダーを再利用し、貴重なサブネットワークを破棄しない。
• CTC層内の線形プロジェクション行列を語彙埋め込み行列と共有することで、音声とテキスト表現を同じ潜在空間に一致させる。
• MTソース文を語の繰り返しとブランクトークンを追加することで長くし、CTC出力シーケンスを模倣することで、シーケンス長の一貫性を確保する。
• 微調整段階でASR、MT、STの複数の目的関数を用いたマルチタスク学習を実施し、事前学習済みサブネットワークを初期化として使用する。
• STタスク用に、MTモデルからのアテンションモジュールを事前学習し、ランダム初期化を避ける。

実験結果

リサーチクエスチョン

• RQ1 既存のエンドツーエンドSTモデルは、なぜASRおよびMTタスクからの事前学習知識を十分に活用できないのか？
• RQ2 エンドツーエンド音声翻訳における事前学習と微調整の間のドメインギャップをどのように縮小できるか？
• RQ3 音声エンコーダー出力とMTエンコーダー入力の間で意味的整合性とシーケンス長の一貫性を保証するメカニズムは何か？
• RQ4 アテンションモジュールの事前学習は、ST性能にどの程度向上効果をもたらすか？
• RQ5 統一されたアーキテクチャで、すべての事前学習済みサブネットワークを再利用しながら、訓練段階間で役割の一貫性を保てるか？

主な発見

• TCENはLibriSpeech En-Frデータセットで17.05のBLEUスコアを達成し、事前学習ベースラインおよび知識蒸留を用いたモデルを上回る。
• アブレーションスタディの結果、重み共有を削除すると平均で1.45ポイントのBLEUスコア低下が生じ、意味的整合性がノイズ注入よりも重要であることが示された。
• 事前学習を削除すると、BLEUスコアが8.98～8.42に急激に低下し、事前学習が性能向上に不可欠であることが確認された。
• 学習曲線から、TCENは高い検証精度で開始し、微調整の全期間にわたり一貫した優位性を示しており、より優れた初期化であることが示された。
• LSTMおよびTransformerの両方のバックボーンで性能向上を示し、アーキテクチャに一般化可能であることが実証された。
• ヴァニラなマルチタスク学習ベースラインより5 BLEUポイント優れており、教師モデルを用いた知識蒸留を用いたモデルと同等またはそれを上回る性能を達成した。