[論文レビュー] Diformer: Directional Transformer for Neural Machine Translation

Minghan Wang, Jiaxin Guo+9 more|arXiv (Cornell University)|Dec 22, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

Diformerは、自己回帰（AR）と非自己回帰（NAR）の両方の生成方向を統合的にモデル化するための統一型Transformerアーキテクチャを提案する。方向性言語モデル（DLM）目的関数を用いて、左から右、右から左、および直列（非自己回帰）の生成方向を同時に扱い、ARおよびNARモデルの元来の依存関係仮定を保持する。WMTベンチマークにおいて最先端の性能を達成し、統合モデルより1.5 BLEU点以上優れており、独立したSOTAのARおよびNARモデルと同等の性能を発揮する。

ABSTRACT

Autoregressive (AR) and Non-autoregressive (NAR) models have their own superiority on the performance and latency, combining them into one model may take advantage of both. Current combination frameworks focus more on the integration of multiple decoding paradigms with a unified generative model, e.g. Masked Language Model. However, the generalization can be harmful to the performance due to the gap between training objective and inference. In this paper, we aim to close the gap by preserving the original objective of AR and NAR under a unified framework. Specifically, we propose the Directional Transformer (Diformer) by jointly modelling AR and NAR into three generation directions (left-to-right, right-to-left and straight) with a newly introduced direction variable, which works by controlling the prediction of each token to have specific dependencies under that direction. The unification achieved by direction successfully preserves the original dependency assumption used in AR and NAR, retaining both generalization and performance. Experiments on 4 WMT benchmarks demonstrate that Diformer outperforms current united-modelling works with more than 1.5 BLEU points for both AR and NAR decoding, and is also competitive to the state-of-the-art independent AR and NAR models.

研究の動機と目的

• 自己回帰（AR）と非自己回帰（NAR）モデルの訓練目的の衝突が引き起こす性能格差を是正すること。
• 単一のフレームワーク内で自己回帰（AR）および非自己回帰（NAR）デコードの元来の依存関係仮定を保持すること。
• 別々の事前学習や微調整ステージを経ることなく、複数のデコード方向（L2R, R2L, 直列）を同時に学習可能にすること。
• モデルの双方向的機能を活用し、自己再ランク付けを用いてNARデコードの性能を向上させること。
• 一般化性能を損なわず、訓練コストを増加させることなく、ARおよびNAR推論モードの両方で競争力のある性能を達成すること。

提案手法

• 各トークンの生成方向（L2R, R2L, または直列）を制御する方向変数を導入する。
• 各トークンの予測を現在の方向に応じた文脈に基づいて条件づける方向性言語モデル（DLM）目的関数を定式化する。
• 長距離依存関係のモデリングを維持するため、最大相対距離が8以上である相対的位置埋め込みを用いる。
• L2R, R2L, 直列の3方向を1回の順伝播で同時に学習し、複数段階の訓練を回避し、計算コストを削減する。
• 推論段階で自己再ランク付けを適用し、ビーム候補を方向性モデルを再評価することで、特にNARデコードにおいて効果を発揮する。
• 特にNARおよびR2L方向の学習安定性と性能向上を図るため、蒸留された単言語データを活用する。

実験結果

リサーチクエスチョン

• RQ1 統一型Transformerモデルは、複数のデコード方向をサポートしつつ、ARおよびNARモデルの性能を保持できるか？
• RQ2 共有DLM目的関数を用いてL2R, R2L, 直列の生成方向を一括して学習することで、一般化された条件付きモデリングと比較して性能劣化が軽減されるか？
• RQ3 方向変数の導入が、ARおよびNAR設定における元来の依存関係仮定の維持能力にどのように影響するか？
• RQ4 追加の推論コストをかけずに、自己再ランク付けがどれほどNARデコード性能を向上させるか？
• RQ5 特に生の単言語データで学習する際、知識蒸留が異なる生成方向間でのモデル容量のバランスを効果的に調整できるか？

主な発見

• Diformerは、4つのWMTベンチマークにおいて、ARおよびNARデコードの両方で、既存の統合モデルより1.5 BLEU点以上優れた性能を発揮する。
• WMT14 En→Deでは、L2Rデコードで28.58 BLEUを達成し、蒸留データを用いると28.35に達する。これは、先行する統合モデルを上回る。
• 特にNARデコードにおいて自己再ランク付けを適用することで、独立したSOTAのARおよびNARモデルと同等の競争力のある性能を維持する。
• 自己再ランク付けはNAR性能を顕著に向上させ、特にマスク予測およびイージーファースト戦略下で、ビームサイズおよびイテレーション回数と正の相関関係を示す。
• 生データで全トークンをR2L方向に固定して学習すると、L2R性能が回復する。これは、生データが非L2R方向の学習を困難にしていることを示唆する。
• 最大距離k ≥ 8の相対的位置埋め込みが不可欠であり、NARデコードはその双方向的文脈依存性のため、位置情報により敏感である。