[論文レビュー] Lexically Constrained Neural Machine Translation with Levenshtein Transformer

Raymond Hendy Susanto, Shamil Chollampatt+1 more|arXiv (Cornell University)|Apr 27, 2020

Natural Language Processing Techniques参考文献 17被引用数 10

ひとこと要約

本論文は、Levenshtein Transformer (LevT) を用いて、再訓練を伴わず、デコード速度を落とさずに推論時に制約を挿入する高速で非自己回帰的な方法を提案する。この手法により、語彙制約の使用率が100%に達し、制約付き文ではBLEUが0.6ポイント向上し、精度と速度の両面で先行手法を上回る。

ABSTRACT

This paper proposes a simple and effective algorithm for incorporating lexical constraints in neural machine translation. Previous work either required re-training existing models with the lexical constraints or incorporating them during beam search decoding with significantly higher computational overheads. Leveraging the flexibility and speed of a recently proposed Levenshtein Transformer model (Gu et al., 2019), our method injects terminology constraints at inference time without any impact on decoding speed. Our method does not require any modification to the training procedure and can be easily applied at runtime with custom dictionaries. Experiments on English-German WMT datasets show that our approach improves an unconstrained baseline and previous approaches.

研究の動機と目的

• 再訓練を伴わず、ドメイン固有の用語をニューラル機械翻訳に強制する課題に対処すること。
• 自己回帰モデルにおける制約対応ビームサーチデコードの計算コストの高い問題を克服すること。
• 保証された語彙制約の挿入を伴うリアルタイムで高速な推論を可能にすること。
• 翻訳品質を維持しつつ、制約語の正確な配置と高い使用率を確保すること。
• カスタム語彙辞書のランタイム統合に即座に統合可能なプラグアンドプレイソリューションを提供すること。

提案手法

• 非自己回帰モデルである Levenshtein Transformer (LevT) を活用し、反復的な挿入・削除操作によって翻訳を改善する。
• 学習プロセスを変更せずに、デコード中に必要な用語を適切な位置に挿入する制約挿入ステップを導入する。
• LevT で用いられる3つの分類器（削除、プレースホルダ、トークン予測）をそのまま利用し、制約語の挿入を優先する論理を追加する。
• 制約語内での削除または挿入をオプションで禁止することで、制約の整合性を保証し、100%の使用率を達成する。
• 元のモデルの速度を保ちながら、推論時のみにこの手法を適用し、ファインチューニングやデータ拡張を一切必要としない。
• 分類器間で共有されるマルチヘッド自己注意機構を用い、予測を元の入力と現在の出力シーケンスの両方に依存させる。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、デコード速度を落とさずに、推論時にニューラル機械翻訳に語彙制約を挿入できるか？
• RQ2 LevT のような非自己回帰デコードアプローチは、自己回帰ビームサーチと比較して、効果的かつ効率的に制約を強制できるか？
• RQ3 制約挿入は、速度を維持しつつ、どれほど語彙使用率と翻訳品質を向上させられるか？
• RQ4 制約付きビームサーチやデータ拡張を用いた先行手法と比較して、本手法はどのように性能を発揮するか？
• RQ5 手動によるアライメントや再順序付けなしに、モデルは制約語を正しい文法的位置に配置できるか？

主な発見

• 削除および制約語内での挿入を禁止した場合、本手法は100%の語彙使用率を達成し、先行手法を著しく上回る。
• 制約付き文では、BLEUスコアが0.6ポイント向上（p < 0.05）し、統計的に有意であることが示された。
• 全テストセットのBLEUスコアも0.1ポイント向上したが、これは制約語が参照トークンのわずか1%に過ぎないにもかかわらずである。
• 制約挿入による遅延は測定不能であり、ベースラインのLevTモデルと同等のデコード速度を維持した。
• Post18 や Dinu19 と比較して、Wiktionary では0.96ポイント、IATE では1.16ポイントの高いBLEU向上を達成し、100%の語彙使用率を実現した。
• ランダムに制約語を挿入すると、BLEUは29.9から29.3に低下し、本手法がベースラインヒューリスティクスよりも正確に制約語を配置できていることを確認した。