[論文レビュー] Guiding Non-Autoregressive Neural Machine Translation Decoding with Reordering Information

Qiu Ran, Yankai Lin+2 more|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques参考文献 49被引用数 17

ひとこと要約

本稿では、再配置情報を明示的にモデル化することでデコードをガイドする、非自己回帰的神経機械翻訳フレームワークReorderNATを提案する。元の単語の再配置から擬似翻訳を生成し、それをデコーダーの条件付けに用いることで、マルチモダリティ問題を軽減し、最大6倍の高速化を達成しながら、自己回帰的モデルと同等の翻訳品質を実現する。

ABSTRACT

Non-autoregressive neural machine translation (NAT) generates each target word in parallel and has achieved promising inference acceleration. However, existing NAT models still have a big gap in translation quality compared to autoregressive neural machine translation models due to the enormous decoding space. To address this problem, we propose a novel NAT framework named ReorderNAT which explicitly models the reordering information in the decoding procedure. We further introduce deterministic and non-deterministic decoding strategies that utilize reordering information to narrow the decoding search space in our proposed ReorderNAT. Experimental results on various widely-used datasets show that our proposed model achieves better performance compared to existing NAT models, and even achieves comparable translation quality as autoregressive translation models with a significant speedup.

研究の動機と目的

• 独立した単語生成による一貫性の欠如や誤った翻訳を引き起こす非自己回帰的NMTにおけるマルチモダリティ問題に対処すること。
• 推論速度を犠牲にせずに、ワンステップNATモデルの翻訳品質を向上させること。
• 源語単語における目的語言語の語順を表す再配置情報が、目的語単語間の依存関係をモデル化する有効な代理変数として機能するかを検討すること。
• 再配置情報を活用したデコーディング戦略を開発し、一貫性があり整合性のある翻訳を導くように単語選択をガイドすること。
• 非自己回帰的NMTと自己回帰的NMTモデルの性能差を縮小しつつ、高速な並列デコーディングを維持すること。

提案手法

• エンコーダーとデコーダーの間に再配置モジュールを導入し、源語単語を目的語言語の語順に再配置することで擬似翻訳を生成する。
• 擬似翻訳をデコーダーの条件入力として使用し、標準的なNATで用いられる直接的な源表現のコピーを置き換える。
• 最も確率の高い擬似翻訳を最初に生成し、その後それに基づいて目的語文をデコードする決定的ガイド付きデコーディング戦略を実装する。
• 擬似翻訳を潜在変数として扱い、その条件付き分布を用いて目的語単語の選択をガイドする非決定的ガイド付きデコーディング戦略を導入する。
• 再配置モジュールが微分可能で、主翻訳タスクと同時に最適化可能であるように、標準的なNMTの目的関数でエンドツーエンドに学習する。
• 単語の順列の探索空間が限られていることを利用し、顕著な計算コストの増加なしに再配置を効率的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 再配置情報の明示的モデル化が、非自己回帰的NMTにおけるマルチモダリティ問題を軽減できるか？
• RQ2 擬似翻訳を条件付きガイドとして用いることで、生成された翻訳の整合性と正確性が向上するか？
• RQ3 再配置情報が、並列デコーディングにおいて目的語単語の依存関係を効果的に代理することができるか？
• RQ4 再配置に基づく決定的および非決定的デコーディング戦略の性能と頑健性は、どのように比較されるか？
• RQ5 ReorderNATは、非自己回帰的NMTと自己回帰的NMTモデルの性能差をどの程度縮小できるか？

主な発見

• ReorderNATは、複数のベンチマークデータセットにおいて、既存の大多数の非自己回帰的NMTモデルよりも顕著かつ一貫した改善を達成する。
• 特にWMT14 En-DeおよびWMT16 En-Deにおいて、自己回帰的NMTモデルと同等の翻訳品質を達成しながら、ほぼ6倍の高速化を維持する。
• 非決定的デコーディング戦略が決定的戦略を上回ることから、再配置における不確実性をモデル化することで頑健性が向上することが示唆される。
• 再配置モジュールは、目的語単語間の構造的依存関係を効果的に捉えており、重複・欠落・誤った単語生成を低減している。
• 再配置モデリングに軽量なATモジュールを統合することで、推論速度を劣化させることなく翻訳品質が著しく向上する。
• 実験的結果から、再配置情報がワンステップNATにおけるマルチモダリティ問題の緩和に不可欠であることが確認される。