[論文レビュー] Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation

Ye Liu, Yao Wan+3 more|arXiv (Cornell University)|Jan 22, 2021

Natural Language Processing Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、構文的（POS）および意味的（NER）構造ラベルをモデルに統合することで翻訳品質と効率性を向上させる非自己回帰的Transformer、SNATを提案する。構造的ガイダンスと中間潜在アライメントを組み合わせることで、自己回帰的Transformerに比べて9.3倍高速なデコードを達成し、WMT14 En-DeおよびWMT16 En-RoでSOTA非自己回帰モデルと同等またはそれを上回るBLEUスコアを達成する。

ABSTRACT

The non-autoregressive models have boosted the efficiency of neural machine translation through parallelized decoding at the cost of effectiveness when comparing with the autoregressive counterparts. In this paper, we claim that the syntactic and semantic structures among natural language are critical for non-autoregressive machine translation and can further improve the performance. However, these structures are rarely considered in the existing non-autoregressive models. Inspired by this intuition, we propose to incorporate the explicit syntactic and semantic structures of languages into a non-autoregressive Transformer, for the task of neural machine translation. Moreover, we also consider the intermediate latent alignment within target sentences to better learn the long-term token dependencies. Experimental results on two real-world datasets (i.e., WMT14 En-De and WMT16 En-Ro) show that our model achieves a significantly faster speed, as well as keeps the translation quality when compared with several state-of-the-art non-autoregressive models.

研究の動機と目的

• 非自己回帰的NMTモデルと自己回帰的NMTモデルの性能差を、構文的および意味的構造を組み込むことで是正すること。
• 明示的な構造的監視によって非自己回帰デコードにおけるマルチモーダル性の問題を軽減すること。
• デコーダー層間の間隔の潜在アライメントを導入することで、長距離依存関係のモデリングを改善すること。
• 翻訳品質を損なわず高速な推論を達成すること。

提案手法

• モデルは入力トークンに加えてそのPOS/NERタグを入力とし、エンコーダーが構文的および意味的構造に注目できるようにする。
• 構文的および意味的構造ラベルを埋め込み、語彙埋め込みと連結してデコーダーをガイドする。
• デコーダー層間の注目マップとターゲットトークンとの正則化を通じて、中間潜在アライメントを導入し、長期依存関係をモデル化する。
• 標準的な交差エントロピー損失とアライメント正則化を組み合わせたマルチタスク学習目的関数を用いる。
• 標準的なTransformerコンponents（マルチヘッドアテンション、フィードフォワードネットワークなど）を用い、エンドツーエンドで学習可能なアーキテクチャである。
• WMT14 En-DeおよびWMT16 En-Roで評価し、構造の使用法とアライメント層に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的TransformerにPOSおよびNERタグを統合することで翻訳品質が向上するか？
• RQ2 デコーダー層間の間隔の潜在アライメントは、長距離依存関係モデリングにどのように影響するか？
• RQ3 提案されたモデルは、SOTA非自己回帰モデルと比較して、性能向上を達成しながらも高速性を維持するか？
• RQ4 特に長い文において、モデルの性能はどのように変化するか、文の長さに応じてどう変動するか？

主な発見

• SNATはWMT14 En-Deでバッチサイズ1の場合、自己回帰的Transformerに比べて9.3倍高速なデコードを達成し、競争力のあるBLEUスコアを維持する。
• POSタグの統合によりWMT14 En-DeでBLEUが1.37ポイント向上し、NERタグでは1.25ポイント向上し、構文的および意味的ガイダンスの有効性が示された。
• 中間アライメントに第3層の表現（Z³）を用いることで、ベースラインに比べて最高の改善（+1.46 BLEU）が得られた。
• SNATは文の長さにかかわらず安定した性能を示し、BLEUスコアは長さ≤10で28.67から長さ>100では17.69にわずかに低下するが、ヴァーチャルNATと異なり急激に劣化しない。
• WMT14 En-DeではZ³とPOS/NERタグを併用したSNATが24.57のBLEUスコアを達成し、速度と精度の両面で複数のSOTA NATモデルを上回った。
• SNATはDCRF-NATよりも高速でありながら、より優れた翻訳品質を達成しており、その効率性と有効性が裏付けられた。