[論文レビュー] Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input

Junliang Guo, Xu Tan+4 more|arXiv (Cornell University)|Dec 23, 2018

Natural Language Processing Techniques参考文献 28被引用数 16

ひとこと要約

本稿では、非自己回帰的神経機械翻訳（NAT）におけるデコーダー入力の向上を図る2つの手法を提案する。その手法とは、(1) 直接的なソース・トークンからターゲット・トークンへの翻訳を実現するフレーズテーブルの照会、および (2) 文単位のアライメントと語単位の敵対的学習を用いた単語埋め込みのマッピングである。本手法は、ベースラインモデルと比較して、WMT14 En-DeでBLEUを5.11ポイント、WMT16 En-Roで4.72ポイント向上させ、最先端のNAT性能を達成した。

ABSTRACT

Non-autoregressive translation (NAT) models, which remove the dependence on previous target tokens from the inputs of the decoder, achieve significantly inference speedup but at the cost of inferior accuracy compared to autoregressive translation (AT) models. Previous work shows that the quality of the inputs of the decoder is important and largely impacts the model accuracy. In this paper, we propose two methods to enhance the decoder inputs so as to improve NAT models. The first one directly leverages a phrase table generated by conventional SMT approaches to translate source tokens to target tokens, which are then fed into the decoder as inputs. The second one transforms source-side word embeddings to target-side word embeddings through sentence-level alignment and word-level adversary learning, and then feeds the transformed word embeddings into the decoder as inputs. Experimental results show our method largely outperforms the NAT baseline~\citep{gu2017non} by $5.11$ BLEU scores on WMT14 English-German task and $4.72$ BLEU scores on WMT16 English-Romanian task.

研究の動機と目的

• 弱いデコーダー入力信号が原因で生じる翻訳精度の低下を是正すること。
• 強化されたデコーダー入力により、NATデコーダーのタスク難易度を低減し、より強力で関連性の高いコンテキストを提供すること。
• デコーダー入力にターゲット側の情報を直接統合することで、推論速度を損なわずNAT性能を向上させること。
• フレーズテーブル照会と学習された埋め込みマッピングという2つの補完的アプローチを検討し、高品質なデコーダー入力を生成すること。

提案手法

• 最初の手法では、SMTから事前学習されたフレーズテーブルを用いて、ソース・トークンをターゲット・トークンに直接翻訳し、その結果をデコーダー入力として供給する。
• 2番目の手法では、文単位のアライメントと語単位の敵対的損失を用いて、ソース側の単語埋め込みからターゲット側の埋め込みへの線形変換を学習する。
• 文単位のアライメント損失は、マッピングされたソース埋め込みとターゲット埋め込みの間のL2距離を最小化することで、文単位の整合性を確保する。
• 語単位の敵対的損失は、マッピングされたソース埋め込みの分布が実際のターゲット埋め込みの分布と一致することを保証し、一般化性能を向上させる。
• 強化されたデコーダー入力 $\hat{y}$ は、NATデコーダーにおけるグローバルコンテキストとして使用される：$y_t = \mathbb{D}(\hat{y}, \mathbb{E}(x))$。これにより、より強力なコンテキストを備えた並列生成が可能になる。
• モデル全体はエンド・ツー・エンドで訓練され、デコーダーがより正確でターゲット関連の入力信号の恩恵を受けることができる。

実験結果

リサーチクエスチョン

• RQ1 NATモデルのデコーダー入力にターゲット側の情報を統合することで、翻訳精度が顕著に向上するか？
• RQ2 デコーダー入力信号の品質（例：フレーズテーブル vs. 学習された埋め込み）がNATモデル性能に与える影響は何か？
• RQ3 埋め込みマッピング手法における文単位のアライメントと語単位の敵対的学習の相対的寄与度は何か？
• RQ4 提案手法は、長文における繰り返しや語の省略といったNATモデルの失敗モードを軽減するか？
• RQ5 提案手法は、多様な言語対やデータセット規模に一般化可能か？

主な発見

• 提案手法は、NATベースラインと比較して、WMT14英語＝ドイツ語翻訳タスクでBLEUを5.11ポイント向上させた。
• WMT16英語＝ルーマニア語タスクでは、ベースラインと比較して4.72ポイントのBLEU向上を達成した。
• フレーズテーブル照会は、IWSLT14 De-Enのような小規模でクリーンなデータセットで優れた性能を示し、フレーズテーブル品質が高いため（BLEU 15.69）。
• 埋め込みマッピングは、WMT14 En-De や WMT16 En-Ro のような大規模でノイズの多いデータセットでフレーズテーブル照会を上回り、フレーズテーブル品質が低い（BLEU 6.03 および 9.16）状況で優位性を発揮した。
• アブレーションスタディの結果、文単位のアライメントと語単位の敵対的損失の両方が不可欠であることが確認され、両者の組み合わせが最も高いBLEUスコア（IWSLT14 De-Enで24.13）を達成した。
• ベースラインのNATモデルが処理できない長文に対しても、モデルは正常に翻訳でき、繰り返しや語の省略を回避した。