[論文レビュー] Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation

Zhengrui Ma, Chenze Shao+3 more|arXiv (Cornell University)|Mar 12, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、非自己回帰的翻訳のための新しいトレーニング目的であるFuzzy Alignments in Directed Acyclic Graphs (FA-DAT) を提案する。FA-DATは、DAG内のすべてのパスをカバーするn-gramベースの曖昧なアラインメントに、厳密なトークン対トークンのアラインメントを置き換える。生成されたパスと参照翻訳との間の期待されるn-gram被りを最大化することで、マルチモダリティ対応性が向上し、生成の信頼性が向上し、知識蒸留やビームサーチを用いないRawデータ上でもSOTAを達成する。

ABSTRACT

Non-autoregressive translation (NAT) reduces the decoding latency but suffers from performance degradation due to the multi-modality problem. Recently, the structure of directed acyclic graph has achieved great success in NAT, which tackles the multi-modality problem by introducing dependency between vertices. However, training it with negative log-likelihood loss implicitly requires a strict alignment between reference tokens and vertices, weakening its ability to handle multiple translation modalities. In this paper, we hold the view that all paths in the graph are fuzzily aligned with the reference sentence. We do not require the exact alignment but train the model to maximize a fuzzy alignment score between the graph and reference, which takes captured translations in all modalities into account. Extensive experiments on major WMT benchmarks show that our method substantially improves translation performance and increases prediction confidence, setting a new state of the art for NAT on the raw training data.

研究の動機と目的

• 同一のソース文に対して複数の妥当な翻訳が存在するマルチモダリティ問題によって引き起こされる非自己回帰的翻訳(NAT)の性能低下を是正すること。
• DAGベースのNATモデルで使用される負の対数尤度(NLL)損失の限界を克服すること。NLL損失は、参照トークンと頂点との間で厳密な逐次的アラインメントを強制する。
• すべてのパスが正確なパスではなく、曖昧に参照とアラインメントされていることをモデルに学習させることで、モデルのキャリブレーションと予測の信頼性を向上させること。
• 多様な翻訳モダリティからの勾配が非ゼロとなるように、すべての頂点がトレーニングに意味的に寄与するようにすることで、小さなグラフサイズでも高い性能を達成すること。
• 知識蒸留や自己回帰的デコードに依存せず、Rawトレーニングデータのみを用いてWMTベンチマークでSOTAを達成すること。

提案手法

• 各DAGパスと参照文との間の期待されるn-gram被りに基づく曖昧なアラインメントスコアを導入し、厳密な1対1アラインメントに置き換える。
• DAGと参照との全体的なアラインメントスコアを、すべてのパスにおける期待される曖昧なアラインメントスコアの平均として定義し、モデルがこれを最大化するようにトレーニングする。
• 標準的なNLL損失に代えて、高いアラインメントスコアを促進する微分可能な目的関数を導入し、モデルが同時に複数の翻訳モダリティから学習できるようにする。
• すべてのパスからの勾配を集約する微分可能な目的関数を用いてDAGベースのモデルをトレーニングし、多様な翻訳バリアントに対応する頂点が適切にキャリブレーションされるようにする。
• 学習可能な長さ予測器と、頂点がデコーダー隠れ状態を表し、エッジが遷移を表すグラフ構造を用い、パスベースのデコードを可能にする。
• 推論時にアドバンスドデコードを適用し、曖昧なトレーニング目的から得られた向上した信頼性とアラインメントを活用して高品質な出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 DAG内のすべてのパスを考慮する曖昧なアラインメント目的が、非自己回帰的翻訳におけるマルチモダリティ対応性を向上させることができるか？
• RQ2 厳密なNLL損失に代えて曖昧なアラインメント目的を採用することで、NLLベースのトレーニングに比べて性能が向上し、予測の信頼性が高まるか？
• RQ3 FA-DATは、知識蒸留やビームサーチに依存せず、RawトレーニングデータでのSOTA性能をどの程度達成できるか？
• RQ4 グラフサイズがFA-DATの性能に与える影響は、ベースラインのDA-Transformerと比べてどの程度か？
• RQ5 曖昧なアラインメント目的は、多様な翻訳モダリティにわたるモデルのパープレキシティを低下させ、頂点のキャリブレーションを向上させることができるか？

主な発見

• FA-DATは、知識蒸留や自己回帰的デコードに依存せず、Rawトレーニングデータのみを用いてWMT14 En-DeおよびWMT16 En-DeベンチマークでSOTAを達成した。
• WMT14 En-Deでは、λ=3で26.47 BLEUを達成し、DA-Transformerのλ=8と同等の性能を示した。これは、グラフサイズの使用効率が優れていることを示している。
• 予測の信頼性が向上しており、頂点の通過確率が0または1に集中し、トークン確率が1に近づいていることから、キャリブレーションが良好であることが示された。
• すべてのグラフサイズ（λ=2からλ=8）において、FA-DATはDA-Transformerベースラインを平均0.96 BLEU上回り、強固で効果的な性能を示した。
• 曖昧なアラインメント目的は、NLL損失が厳密にアラインされたパスにのみキャリブレーションを行うのに対し、代替翻訳を捉える頂点への勾配伝搬をより効果的に可能にした。
• 実験により、FA-DATはパープレキシティを低下させ、NATモデルに一般的な繰り返しトークンの問題を回避することが確認された。これは、より優れたマルチモダリティモデリングによるものである。