[論文レビュー] End-to-End Speech Translation with Knowledge Distillation

Yuchen Liu, Hao Xiong+5 more|arXiv (Cornell University)|Apr 17, 2019

Natural Language Processing Techniques参考文献 28被引用数 36

ひとこと要約

本論文は、テキスト翻訳教師からエンドツーエンドの音声翻訳Studentへの知識蒸留を導入し、英語–フランス語および英語–中国語の翻訳タスクでBLEUの顕著な向上とパイプラインに近い性能を示す。

ABSTRACT

End-to-end speech translation (ST), which directly translates from source language speech into target language text, has attracted intensive attentions in recent years. Compared to conventional pipeline systems, end-to-end ST models have advantages of lower latency, smaller model size and less error propagation. However, the combination of speech recognition and text translation in one model is more difficult than each of these two tasks. In this paper, we propose a knowledge distillation approach to improve ST model by transferring the knowledge from text translation model. Specifically, we first train a text translation model, regarded as a teacher model, and then ST model is trained to learn output probabilities from teacher model through knowledge distillation. Experiments on English- French Augmented LibriSpeech and English-Chinese TED corpus show that end-to-end ST is possible to implement on both similar and dissimilar language pairs. In addition, with the instruction of teacher model, end-to-end ST model can gain significant improvements by over 3.5 BLEU points.

研究の動機と目的

• パイプラインシステムの代替として、コンパクトで低遅延なエンドツーエンドの音声翻訳(ST)を提唱する。
• テキストMTモデルを教師としてST学生を導く知識蒸留フレームワークを提案する。
• 蒸留を通じたMT知識の活用が、類似言語ペアと非類似言語ペアの両方でST性能を改善することを示す。
• KDによりエンドツーエンドSTモデルが利用可能なベンチマークでパイプラインシステムとの差を縮められることを示す。

提案手法

• 共通のエンコーダ-デコーダフレームワークを備えた、ASR/STおよびMTタスクにTransformerベースのアーキテクチャを用いる。
• 並列テキストでテキスト翻訳モデル（教師）を訓練し、音声からテキストへの翻訳でエンドツーエンドSTモデル（学生）を訓練する。
• 統合損失を最小化して知識蒸留を適用する: L_ALL = (1-λ)L_ST + λL_KD、L_KDは学生の出力を教師の分布に一致させる。
• L_KDを教師の出力分布 Q(y_t|y_<t,x) と学生の予測分布 P(y_t|y_<t,s) のクロスエントロピーとして計算する。
• 音声入力にはログメル特徴量のフレーム積み重ねとダウンサンプリングを用い、MT/ST出力にはサブワード単位（BPE）を適用する。
• Augmented LibriSpeech（英語–フランス語）とTED（英語–中国語）で評価し、言語ペアを超えた汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 高資源のテキスト MTモデルからの蒸留ガイダンスを受けて、エンドツーエンドSTを効果的に訓練できるか？
• RQ2 KDはエンドツーエンドSTの性能をどれだけ改善し、従来のパイプラインシステムとの差をどれだけ縮められるか？
• RQ3 教師信号は類似言語ペア（英語–フランス語）だけでなく、非類似ペア（英語–中国語）にも有効か？

主な発見

LibriSpeech	手法	WER	BLEU
Augmented LibriSpeech	greedy	21.46	21.35
Augmented LibriSpeech	beam search	16.98	22.91
Augmented LibriSpeech	Pipeline (Bérard 10)	19.9	19.2
Augmented LibriSpeech	Pipeline (Bérard 10 beam)	17.9	18.8
Augmented LibriSpeech	End-to-end (KD)	-	-
Augmented LibriSpeech	End-to-end (no KD)	21.46	21.35

• End-to-end ST with KD significantly improves BLEU scores over vanilla end-to-end ST on Augmented LibriSpeech (example gains up to about 2.7 BLEU points in some settings).
• KD enables the end-to-end ST model to approach pipeline performance, reducing the performance gap between end-to-end ST and MT+ST pipelines.
• On English–French, end-to-end ST with KD outperforms non-KD variants and reaches BLEU scores closer to the pipeline baseline.
• On English–Chinese, end-to-end ST benefits from KD and shows clear gains over non-KD variants, indicating the method's generality across language pairs.
• Attention visualizations suggest KD makes ST attention more focused, resembling MT attention and aiding alignment with input frames.