[論文レビュー] Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation

Hirofumi Inaguma, Tatsuya Kawahara+1 more|arXiv (Cornell University)|Apr 13, 2021

Natural Language Processing Techniques参考文献 47被引用数 5

ひとこと要約

本稿では、前向きNMTモデルから得られる並び替えられた元の翻訳と、後向きNMTモデルから得られる歪みた翻訳を活用することで、エンドツーエンド音声翻訳（E2E-ST）のためのソースおよびターゲットの双方向的知識蒸留（SeqKD）を提案する。1つのデコーダーでターゲット翻訳と元の言い換え表現の両方を予測するように訓練することで、意味的表現の学習が向上し、自己回帰的および非自己回帰的モデルの両方で一貫して性能向上が達成される。双方向的SeqKDは、単方向の変種を上回り、モデルサイズにかかわらず一般化性能を向上させる。

ABSTRACT

A conventional approach to improving the performance of end-to-end speech translation (E2E-ST) models is to leverage the source transcription via pre-training and joint training with automatic speech recognition (ASR) and neural machine translation (NMT) tasks. However, since the input modalities are different, it is difficult to leverage source language text successfully. In this work, we focus on sequence-level knowledge distillation (SeqKD) from external text-based NMT models. To leverage the full potential of the source language information, we propose backward SeqKD, SeqKD from a target-to-source backward NMT model. To this end, we train a bilingual E2E-ST model to predict paraphrased transcriptions as an auxiliary task with a single decoder. The paraphrases are generated from the translations in bitext via back-translation. We further propose bidirectional SeqKD in which SeqKD from both forward and backward NMT models is combined. Experimental evaluations on both autoregressive and non-autoregressive models show that SeqKD in each direction consistently improves the translation performance, and the effectiveness is complementary regardless of the model capacity.

研究の動機と目的

• エンドツーエンド音声翻訳（E2E-ST）において、ASRタスクとMTタスクの入力モodalが異なるという課題に対処すること。
• 補助的ASR訓練の制限を克服すること。これには、音声的表現よりも意味的表現に偏ったモデルのバイアスが含まれる。
• 文単位の知識蒸留（SeqKD）を用いて、テキストベースのNMTモデルからの意味的知識を活用することで、E2E-STの性能を向上させること。
• ターゲットからソースへのNMTモデルから生成された言い換えられた元の翻訳を用いた後向きSeqKDを提案すること。
• 前向きおよび後向きNMTモデルからの知識を統合することで、モデルの一般化および耐性を向上させる双方向的SeqKDを構築すること。

提案手法

• 平行ビテキスト上で前向きNMTモデルを訓練し、E2E-STの学習用に蒸留されたターゲット翻訳を生成する。
• ターゲットからソースへのNMTモデル（後向きNMTモデル）を訓練し、ターゲット翻訳から言い換えられた元の翻訳を生成する。
• 生成された言い換え表現を、ゴールド翻訳とともに単一のデコーダー構造における補助的学習ターゲットとして使用する。
• E2E-STモデルを、前向きの蒸留翻訳（前向き）と後向きの言い換え元翻訳（後向き）の両方のデータ上で同時に学習することで、双方向的SeqKDを実装する。
• ビームサーチデコードを用いて事前学習済みNMTモデルから高品質で多様な学習データを生成する文単位の知識蒸留を適用する。
• コーパスレベルの複雑さと蒸留データ分布の忠実性を測るために、アライメントに基づく条件付きエントロピーとKLダイバージェンスを用いる。

実験結果

リサーチクエスチョン

• RQ1 ターゲットからソースへのNMTモデルからの後向き文単位の知識蒸留は、ソース言語の意味を活用することでE2E-STの性能向上に寄与するか？
• RQ2 前向きおよび後向きSeqKDを組み合わせることで、単方向のSeqKDよりも優れた性能が得られるか？
• RQ3 双方向的SeqKDは、自己回帰的でないモデルを含むさまざまなモデルアーキテクチャにおいて、モデルの一般化にどのように影響を与えるか？
• RQ4 ニューラル言い換えの使用は、元のデータ分布と比較して忠実性と複雑さをどの程度保持するか？
• RQ5 提案手法は大規模なE2E-STモデルにおいても性能向上を維持するか？

主な発見

• 双方向的SeqKDは、自己回帰的および非自己回帰的E2E-STモデルの両方で一貫して翻訳性能を向上させ、FisherおよびMust-Cデータセットで効果が確認された。
• 後向きSeqKD単体でも、Fisherで1.2 BLEU、Must-Cで1.8 BLEUの向上を示し、元の言い換え表現の監視の価値を示した。
• 前向きSeqKD単体でも、Fisherで1.0 BLEU、Must-Cで1.5 BLEUの向上を示し、蒸留されたターゲット翻訳の有効性を示した。
• 前向きおよび後向きSeqKDの組み合わせにより最高の性能が達成され、Must-Cでは単方向のSeqKDを最大2.0 BLEU上回った。
• 双方向的SeqKDの有効性は、大規模なConformerベースのモデルを含むさまざまなモデル容量においても維持された。
• KLダイバージェンスおよび条件付きエントロピーによる測定から、蒸留データは高い忠実性と妥当な複雑さを維持しており、信頼できる知識伝達が行われていることが示された。