[論文レビュー] Self-Training for End-to-End Speech Translation

Juan Pino, Qiantong Xu+3 more|arXiv (Cornell University)|Jun 3, 2020

Natural Language Processing Techniques参考文献 28被引用数 4

ひとこと要約

本論文は、キャスケードASR+MTシステムまたはエンドツーエンドSTモデルを用いて無ラベル音声から擬似ラベルを活用する自己学習フレームワークを提案する。MuST-C英仏および英独翻訳で最先端の結果を達成し、強力な半教師付きベースラインに対してそれぞれ8.3および5.7 BLEUの向上を達成した。

ABSTRACT

One of the main challenges for end-to-end speech translation is data scarcity. We leverage pseudo-labels generated from unlabeled audio by a cascade and an end-to-end speech translation model. This provides 8.3 and 5.7 BLEU gains over a strong semi-supervised baseline on the MuST-C English-French and English-German datasets, reaching state-of-the art performance. The effect of the quality of the pseudo-labels is investigated. Our approach is shown to be more effective than simply pre-training the encoder on the speech recognition task. Finally, we demonstrate the effectiveness of self-training by directly generating pseudo-labels with an end-to-end model instead of a cascade model.

研究の動機と目的

• 無ラベル音声データを活用することで、エンドツーエンド音声翻訳におけるデータ不足問題を緩和すること。
• キャスケード（ASR+MT）モデルとエンドツーエンドモデルを用いた擬似ラベル生成の有効性を検証すること。
• 自己学習がASRタスクにおけるエンコーダー事前学習よりも優れていることを示すこと。
• 擬似ラベルの品質とモデルアーキテクチャのスケーリングが性能に与える影響を評価すること。
• 擬似ラベル生成にキャスケードシステムの代わりにエンドツーエンドモデルを用いることで、モデル学習を簡素化すること。

提案手法

• 強力なキャスケードASRおよびMTシステムを用いて無ラベル音声から擬似ラベルを生成し、その後、エンドツーエンドSTモデルをその擬似ラベル付きデータでファインチューニングする。
• 同じ無ラベルデータ上でエンドツーエンドSTモデルを学習し、擬似ラベルを生成することで、完全にエンドツーエンドの自己学習を実現する。
• STモデルおよび擬似ラベル生成モデルの両方でVggTおよびVggTLarge Transformerアーキテクチャを用い、エンコーダーおよびデコーダーのコンponentを共有する。
• 非常に短いまたは長い発話文を除外するためのデータフィルタリングを実施し、10,000語彙のユニグラムモデルを用いたSentencePieceによるサブワードトークン化を実施する。
• 擬似ラベル生成後、元の教師ありデータで最終STモデルをファインチューニングすることで汎化性能を向上させる。
• Adam最適化手法を用い、アーキテクチャに応じた学習率スケジュール（LSTM：固定学習率、Transformer：元のスケジュール）を適用する。

実験結果

リサーチクエスチョン

• RQ1 無ラベル音声から得られる擬似ラベルを用いた自己学習は、低リソースおよび高リソース設定においてエンドツーエンド音声翻訳の性能を顕著に向上させるか？
• RQ2 擬似ラベルの品質が最終STモデルの性能にどのように影響するか？
• RQ3 擬似ラベルを用いた自己学習は、ASRタスクでエンコーダーを事前学習するのと比べてより効果的か？
• RQ4 キャスケードASR+MTシステムに代えて、エンドツーエンドSTモデルを用いて擬似ラベルを生成することは可能か？
• RQ5 擬似ラベル付きデータを用いてモデルサイズを拡大することで、さらなる性能向上が得られるか？

主な発見

• キャスケードモデルからの擬似ラベルを用いた自己学習により、MuST-C英仏翻訳で8.3 BLEU、英独翻訳で5.7 BLEUの向上を達成し、最先端の性能を実現した。
• 17,607時間のLibriLightデータを用いた高リソース設定では、擬似ラベル化によりEn-Deで23.9 BLEUを達成し、エンコーダー事前学習より2.9 BLEU優れた性能を示した。
• VggTエンドツーエンドモデルを用いた擬似ラベル生成は、高リソース設定でキャスケードモデルを0.7 BLEU上回った。
• 擬似ラベルの品質が性能に直接影響する：高品質なASRトランスクリプト（7.3 WER）は低品質なトランスクリプト（27.7 WER）よりも高いBLEUスコアを達成した。
• 教師ありデータのみを用いた純粋な自己学習（pure self-training）でも、ベースラインを上回る性能向上が確認され、エンドツーエンドモデルがプロセスを自己起動できることを示した。
• 本手法により、従来では困難であった大規模モデル（例：VggTLarge）の学習が可能となり、顕著な性能向上が達成された。