[論文レビュー] Understanding and Improving Lexical Choice in Non-Autoregressive Translation

Liang Ding, Longyue Wang+4 more|arXiv (Cornell University)|Dec 29, 2020

Natural Language Processing Techniques参考文献 40被引用数 44

ひとこと要約

この論文は自己回帰教師からの知識蒸留がNATの語彙選択にどのように偏りを生むか、特に低頻度語に焦点を当て、KL発散を介した生データに基づく事前分布を導入し、語彙精度とBLEUを言語ペア間で改善する。

ABSTRACT

Knowledge distillation (KD) is essential for training non-autoregressive translation (NAT) models by reducing the complexity of the raw data with an autoregressive teacher model. In this study, we empirically show that as a side effect of this training, the lexical choice errors on low-frequency words are propagated to the NAT model from the teacher model. To alleviate this problem, we propose to expose the raw data to NAT models to restore the useful information of low-frequency words, which are missed in the distilled data. To this end, we introduce an extra Kullback-Leibler divergence term derived by comparing the lexical choice of NAT model and that embedded in the raw data. Experimental results across language pairs and model architectures demonstrate the effectiveness and universality of the proposed approach. Extensive analyses confirm our claim that our approach improves performance by reducing the lexical choice errors on low-frequency words. Encouragingly, our approach pushes the SOTA NAT performance on the WMT14 English-German and WMT16 Romanian-English datasets up to 27.8 and 33.8 BLEU points, respectively. The source code will be released.

研究の動機と目的

• NATモデルにおける語彙選択に対する知識蒸留の影響を特に低頻度語に焦点を当てて同定する。
• AoLC新指標を用いて語彙選択を言語ペア全体で定量化する。
• 有用な低頻度語彙情報を保持するため、生データに基づくデータ依存の事前分布を提案する。
• 生データ事前分布を標準NAT訓練と統合するKLベースの訓練目的を開発・評価する。
• NATアーキテクチャと複数のデータセットにまたがる堅牢性を示す。

提案手法

• AoLC（語彙選択の正確さ）を定義し、ソース語ごとの語彙翻訳正確さを測定する。
• KDが全体のAoLCを改善する一方で低頻度語のAoLCを損なうことを示す。
• 生データからの2つの双方向データ依存事前分布を導入：Word Alignment Distribution（WAD）とSelf-Distilled Distribution（SDD）。
• KL発散項L_priorとして事前分布を取り入れ、減衰する模倣率lambdaを用いてNAT損失と組み合わせる。
• 生データと蒸留データの両方で訓練し、En-De, Ro-En, Zh-En, Ja-EnでMaskPredictとLevenshtein Transformerを評価する。
• WADとSDDを組み合わせると、特に低頻度語で一貫したBLEUとAoLCの向上をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 AT教師からのKDはNATモデルに低頻度語の語彙誤りを伝播するか？
• RQ2 データ依存の事前分布を介してNATモデルに生データを露出させることで失われた低頻度語彙情報を回復できるか？
• RQ3 双方向の事前分布（WADとSDD）は、複数の言語ペアとNATアーキテクチャに渡って語彙選択と全体の翻訳品質を改善するか？
• RQ4 これらの事前分布はAoLCと低頻度トークンのリコールにどう影響し、BLEUを維持または改善するか？

主な発見

• KDは全体的な語彙正確さ（AoLC）を改善するが、教師の品質が向上すると低頻度語のAoLCを低下させることがある。
• 生データ事前分布を用いて訓練したNATモデルは、En-De, Zh-En, Ja-EnでAoLCとBLEUがより高い。
• WADとSDDを組み合わせると、KDベースラインよりAoLCとBLEUの最大の利得を得る。
• 低頻度トークンの正確性が顕著に向上（低頻度トークンの平均AoLC+3.2）し、翻訳でより多くの低頻度トークンがリコールされる。
• 人的評価は語彙選択のエラーが減少し、低頻度語の扱いが改善されたことを示す。
• 提案された事前分布は、アラインメントが弱いモデルやアラインメントノイズに対しても頑健で、なおKDベースラインを上回る。