[論文レビュー] Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade

Jiatao Gu, Xiang Kong|arXiv (Cornell University)|Dec 31, 2020

Natural Language Processing Techniques参考文献 36被引用数 10

ひとこと要約

この論文は、学習データ、モデルアーキテクチャ、学習目的、学習戦略のすべての側面で依存関係低減技術を統合することで、最先端の性能を達成する完全非自己回帰的神経機械翻訳（NAT）モデルを提案する。自己回帰的Transformerと比較して16倍以上の高速化を達成し、27.49 BLEU（WMT14 En-De）を記録し、自己回帰モデルとの差を埋めながら、並列推論を維持する。

ABSTRACT

Fully non-autoregressive neural machine translation (NAT) is proposed to simultaneously predict tokens with single forward of neural networks, which significantly reduces the inference latency at the expense of quality drop compared to the Transformer baseline. In this work, we target on closing the performance gap while maintaining the latency advantage. We first inspect the fundamental issues of fully NAT models, and adopt dependency reduction in the learning space of output tokens as the basic guidance. Then, we revisit methods in four different aspects that have been proven effective for improving NAT models, and carefully combine these techniques with necessary modifications. Our extensive experiments on three translation benchmarks show that the proposed system achieves the new state-of-the-art results for fully NAT models, and obtains comparable performance with the autoregressive and iterative NAT systems. For instance, one of the proposed models achieves 27.49 BLEU points on WMT14 En-De with approximately 16.5X speed up at inference time.

研究の動機と目的

• 完全非自己回帰的（NAT）と自己回帰的（AT）神経機械翻訳モデルの性能格差を是正しつつ、低遅延推論を維持すること。
• NATにおける出力トークン間の依存関係学習が根本的な課題であることを特定し、誤った独立性仮定が翻訳品質を低下させることを明らかにすること。
• 知識蒸留、CTC損失、VAEベースの学習、GLATの4つの主要技術を統合的に調査・統合し、出力トークン間の依存関係を低減する統一されたNATフレームワークを構築すること。
• これらの手法を適切なアーキテクチャ的・学習的変更と組み合わせることで、繰り返し修正なしに自己回帰モデルと同等の性能を達成できることを実証すること。
• 標準ベンチマークで競争力ある結果を示しながらも、高速な並列デコードを維持し、NATにおける高精度を達成するには繰り返し修正が必要であるという仮定に挑戦すること。

提案手法

• 強い自己回帰的教師モデルを用いて知識蒸留を実施し、ソフトターゲットを提供することで、NAT学生モデルの依存関係学習負荷を軽減する。
• エンコーダ出力をアップサンプリングするCTCベースの学習を導入し、予測シーケンスと参照シーケンスの整合性を高め、誤差伝搬を低減する。
• 単調なアライメント制約を導入したVAEベースの学習を採用し、潜在空間モデリングの安定化とシーケンス生成品質の向上を図る。
• GLAT風の学習を統合し、マスクされたトークン予測と繰り返し修正を学習プロセスに組み込むが、最終的な推論は完全に並列に保つ。
• これらの技術を、より深いデコーダヘッドや最適化された損失重み付けを含むアーキテクチャ的変更と組み合わせ、推論遅延を増加させずにモデル化能力を向上させる。
• まず蒸留とCTCで事前学習し、その後VAEとGLATの目的関数で微調整する段階的学習戦略を採用し、段階的にアライメントと流暢さを向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全非自己回帰的NMTモデルは、繰り返し修正なしに自己回帰的Transformerと同等の性能を達成できるか？
• RQ2 NATモデルの学習空間において、出力トークン間の依存関係を低減するための鍵となる要因は何か？
• RQ3 知識蒸留、CTC損失、VAE、GLATは、個別および統合的にNAT性能にどのように寄与するか？
• RQ4 自己回帰モデルとの性能格差を維持しつつ、高速な並列推論を実現できるか？
• RQ5 完全非自己回帰システムにおいて、モデル容量、遅延、精度の間にはどのようなトレードオフがあり、どのように最適化できるか？

主な発見

• 提案された完全NATモデルは、WMT14 En-Deで27.49 BLEUを達成し、強力な自己回帰モデルと同等の性能を発揮しながら、16.5倍の高速推論を実現した。
• 知識蒸留は依存関係低減に不可欠であり、NAT性能を顕著に向上させるが、希少語の語彙選択を抑制する可能性がある。
• アップサンプリング比λ = 2.5のCTCベースの学習は、WMT14 En-Deで26.54のBLEUスコアを達成し、さまざまなハードウェア環境で遅延への影響が最小限に抑えられた。
• CTC、蒸留、VAE、GLATの統合により、アンサンブルNATモデルに比べて10点以上のBLEU向上が達成され、自己回帰ベースラインとの格差が埋まった。
• GPUおよびCPU上でも高いスループット（16.5倍）を維持し、GPU上での推論遅延は1サンプルあたりわずか17.0 msにとどまり、高いアップサンプリング比であっても影響が限定的だった。
• 本手法は複数の翻訳方向に一般化可能であり、繰り返しデコードなしに3つの標準ベンチマークで最先端の結果を達成した。