[論文レビュー] Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior

Raphael Shu, Jason Lee+2 more|arXiv (Cornell University)|Aug 20, 2019

Natural Language Processing Techniques参考文献 33被引用数 12

ひとこと要約

本稿では、連続的潜在変数とデルタ事後分布を用いた決定的推論により、並列で高速なデコードを可能にする非自己回帰的神経機械翻訳モデル、LaNMTを提案する。入力トークンごとに連続的潜在変数を繰り返し精製することで翻訳品質を向上させるとともに、動的に文長を調整することで、ASPEC Ja-Enで自己回帰モデル比8.6倍の高速化を達成し、WMT’14 En-Deでは6.8倍の高速化でBLEU差をわずか1.0ポイントにまで縮小する。

ABSTRACT

Although neural machine translation models reached high translation quality, the autoregressive nature makes inference difficult to parallelize and leads to high translation latency. Inspired by recent refinement-based approaches, we propose LaNMT, a latent-variable non-autoregressive model with continuous latent variables and deterministic inference procedure. In contrast to existing approaches, we use a deterministic inference algorithm to find the target sequence that maximizes the lowerbound to the log-probability. During inference, the length of translation automatically adapts itself. Our experiments show that the lowerbound can be greatly increased by running the inference algorithm, resulting in significantly improved translation quality. Our proposed model closes the performance gap between non-autoregressive and autoregressive approaches on ASPEC Ja-En dataset with 8.6x faster decoding. On WMT'14 En-De dataset, our model narrows the gap with autoregressive baseline to 2.0 BLEU points with 12.5x speedup. By decoding multiple initial latent variables in parallel and rescore using a teacher model, the proposed model further brings the gap down to 1.0 BLEU point on WMT'14 En-De task with 6.8x speedup.

研究の動機と目的

• 逐次的なトークン生成による自己回帰的NMTモデルの高遅延問題を解決する。
• 目標文長を固定する既存の非自己回帰的NMTモデルの限界を克服し、語順や一貫性の問題を改善する。
• デコード速度を損なわずに連続的潜在変数を導入することで、非自己回帰的モデルの翻訳品質を向上させる。
• 確率的サンプリングを避ける決定的推論手順を開発し、効率的かつスケーラブルなデコードを実現する。
• 潜在変数の繰り返し精製と教師モデルによる再スコアリングを通じて、非自己回帰的NMTと自己回帰的NMTの性能差を縮小する。

提案手法

• 入力トークンごとに1つの連続的潜在変数の系列を導入し、目標系列の不確実性をモデル化する。
• 長さ変換機構を用いて、潜在ベクトルの数を目標系列長に動的に適合させる。
• 対数尤度 log p(y|x) の下界（ELBO）を最大化することで、モデルをエンドツーエンドで学習する。
• デルタ事後分布に基づく決定的反復推論アルゴリズムを提案し、潜在変数の事後分布の更新と、目標トークンの精製を交互に実行する。
• 事前分布 p(z|x) から事後分布を初期化し、p(y|x,z) から目標を初期化した後、近似事後分布 q(z|x,y) を用いて両者を精製する。
• 複数の初期潜在変数をサンプリングし、自己回帰的教師モデルによる再スコアリングを実行することで、並列デコードを可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在変数により、動的長さ適合とより良い系列モデリングが可能となり、非自己回帰的NMTの性能向上が達成できるか？
• RQ2 デルタ事後分布に基づく決定的推論アルゴリズムは、確率的サンプリングを避けても高い翻訳品質を達成できるか？
• RQ3 潜在変数の繰り返し精製により、翻訳品質と対数尤度の下界に顕著な向上が見られるか？
• RQ4 潜在変数の精製と教師モデルによる再スコアリングにより、非自己回帰的NMTと自己回帰的NMTの性能差を縮小できるか？
• RQ5 本手法を用いることで、競争力のあるBLEUスコアを維持しつつ、どの程度デコード速度を向上できるか？

主な発見

• 提案された決定的推論アルゴリズムは、下界と翻訳品質を顕著に向上させ、1回の精製ステップでBLEUスコアが収束することが確認された。
• ASPEC Ja-Enデータセットでは、自己回帰ベースラインと同等の性能を達成しながら、8.6倍の高速化を実現した。
• WMT’14 En-Deデータセットでは、推論アルゴリズムのみを用いても12.5倍の高速化を達成し、BLEU差を2.0ポイントにまで縮小した。
• 初期潜在変数を複数生成し、教師モデルによる再スコアリングを実施することで、WMT’14 En-DeでBLEU差をさらに1.0ポイントにまで縮小し、6.8倍の高速化を達成した。
• 定性的な分析から、精製過程で誤った初期長さ予測を動的に是正し、語の挿入や削除が可能であることが示された。
• 例では、推論中に完全な節を追加するような複雑な再配置や挿入処理も成功していることが確認された。