[論文レビュー] ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation

Cunxiao Du, Zhaopeng Tu+2 more|arXiv (Cornell University)|Oct 8, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、非自己回帰的機械翻訳におけるngram-OaXEを提案する。ngramフレーズ間での再順序付けを許容しつつ、各フレーズ内での語順を厳密に保持することで、翻訳品質を向上させるフレーズベースの順序に依存しない交差エントロピー損失である。ngramレベルの確率分布をモデル化し、ハンガリアン・アルゴリズムを用いて最適なngram順序を最適化することで、繰り返しを低減し、スムーズな翻訳を実現する。知識蒸留を用いないraw WMT14 En-Deデータ上での実験で、OaXEと比較して最大+3.8 BLEUポイントの向上を達成した。

ABSTRACT

Recently, a new training oaxe loss has proven effective to ameliorate the effect of multimodality for non-autoregressive translation (NAT), which removes the penalty of word order errors in the standard cross-entropy loss. Starting from the intuition that reordering generally occurs between phrases, we extend oaxe by only allowing reordering between ngram phrases and still requiring a strict match of word order within the phrases. Extensive experiments on NAT benchmarks across language pairs and data scales demonstrate the effectiveness and universality of our approach. %Further analyses show that the proposed ngram-oaxe alleviates the multimodality problem with a better modeling of phrase translation. Further analyses show that ngram-oaxe indeed improves the translation of ngram phrases, and produces more fluent translation with a better modeling of sentence structure.

研究の動機と目的

• 非自己回帰的翻訳（NAT）におけるマルチモーダルティ問題に対処すること。これは、独立したトークン予測が繰り返しや不自然な出力を引き起こすためである。
• 個々の語のレベルではなく、ngramフレーズのレベルでの再順序付けをモデル化することで、知識蒸留を用いないraw、未処理の学習データ上でのNAT性能を向上させること。
• 高速なデコード速度を維持しつつ、フレーズレベルの翻訳精度と文構造のモデリングを向上させること。
• より構造的な学習目的を導入することで、知識蒸留への依存を低減し、rawデータからの有効な学習を可能にすること。

提案手法

• この手法は、NATモデルが生成する連続するn-gramスパン内の個々の語の確率を乗算することで、ngram確率分布を構築する。
• ngram-OaXE損失は、ターゲット文におけるngramフレーズのすべての可能な順列のうち、最小の交差エントロピーとして定式化される。
• 最適なngram順序は、損失を最小化するためにハンガリアン・アルゴリズムを用いて効率的に計算される。
• 実装は最小限のコード変更で実現可能であり、OaXEのソースコードに1行追加するだけで実現可能で、トレーニング時間の増加もわずか（例：3%程度）である。
• 各ngram内では語順を厳密に保持しつつ、ngram間での再順序付けを許容することで、文法的・構文的制約により適合する。
• 損失関数はトレーニング中に適用され、自己回帰的デコードを必要とせずに、より強固でスムーズな翻訳を学習可能になる。

実験結果

リサーチクエスチョン

• RQ1 語のレベルではなくngramレベルでの再順序付けをモデル化することで、非自己回帰的翻訳の品質が向上するか？
• RQ2 OaXEおよび標準的な交差エントロピー損失と比較して、ngram-OaXEはトークンの繰り返しを低減し、スムーズさを向上させるか？
• RQ3 ngram-OaXEは、知識蒸留を用いないraw、未処理の学習データ上でも強力なNAT性能を発揮できるか？知識蒸留の必要性を低減できるか？
• RQ4 ngram-OaXEは、長文やフレーズレベルの整合性のモデリングをどの程度向上させるか？

主な発見

• ngram-OaXEは、知識蒸留を用いないraw WMT14 En-Deデータ上での翻訳性能を、OaXEと比較して最大+3.8 BLEUポイント向上させ、顕著な向上を示した。
• 蒸留済みデータ上では、ngram-OaXEはOaXEの1.56%から0.98%へとトークンの繰り返し率を低減し、マルチモーダルティの処理能力が向上した。
• すべての設定で、ngram-OaXEはより低いパープレキシティスコアを達成しており、OaXEと比較して生成された翻訳のスムーズさが向上していることが示された。
• ngram-OaXEは、特に長く複雑なフレーズの生成において、ngramフレーズの生成精度を顕著に向上させた。
• この手法により、rawデータ学習と蒸留済みデータ学習の間の性能ギャップが縮小され、NATにおける自己教師付き学習の有効性が示された。
• トレーニング時間の増加はわずかで、OaXEと比較して約3%程度に留まり、大規模学習においても実用的である。