[論文レビュー] Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts

Zewei Sun, Qingnan Jiang+4 more|arXiv (Cornell University)|Sep 23, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、微調整を伴わずに翻訳品質を向上させるために、事前に構築されたデータベースから関連するバイリンガルフレーズレベルのプロンプトを検索するゼロショットドメイン適応手法RePPを提案する。この手法は、微調整なしに翻訳品質を向上させ、平均で6.2 BLEUポイントの向上を達成し、未学習ドメインでは語彙制約の正確性を11.5%向上させる。従来の微調整とは異なり、高速で低コストかつプライバシーを保護する代替手法を提供する。

ABSTRACT

Domain adaptation is an important challenge for neural machine translation. However, the traditional fine-tuning solution requires multiple extra training and yields a high cost. In this paper, we propose a non-tuning paradigm, resolving domain adaptation with a prompt-based method. Specifically, we construct a bilingual phrase-level database and retrieve relevant pairs from it as a prompt for the input sentences. By utilizing Retrieved Phrase-level Prompts (RePP), we effectively boost the translation quality. Experiments show that our method improves domain-specific machine translation for 6.2 BLEU scores and improves translation constraints for 11.5% accuracy without additional training.

研究の動機と目的

• ニューラル機械翻訳におけるドメイン適応のための微調整の高コストと非効率性に対処すること。
• 追加のトレーニングを伴わず、未学習ドメインにおける翻訳品質を向上させるゼロショット手法を開発すること。
• モデルが機密な並列コーパスにさらされないよう、データプライバシーを保護すること。
• プロンプトベースの干渉を用いて、効果的な語彙制約の実装を可能にすること。

提案手法

• 文脈的表現を備えたソース・ターゲットフレーズペアを含むバイリンガルフレーズレベルのデータベースを構築する。
• 文脈的埋め込みに基づく意味的類似度を用いて、ドメイン関連のフレーズプロンプトをデータベースから検索する。
• 翻訳の前に、入力文に検索されたフレーズプロンプトを付加してモデルの翻訳をガイドする。
• プロンプトあり・なしの両入力に対して汎化できるよう、プロンプト対応の共同学習戦略を採用する。
• 推論時に効率的な類似度検索を実現するため、FAISSを用いてIVFPQベクトル量子化を活用する。
• 特殊トークンで区切られたソース・ターゲットフレーズペアのシーケンスとしてプロンプトを定式化し、ソフトな語彙制約を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前に構築されたバイリンガルフレーズデータベースから検索されたフレーズレベルのプロンプトは、微調整なしにゼロショットドメイン適応を向上させることができるか？
• RQ2 関連するバイリンガルフレーズの検索は、未学習ドメインにおける翻訳品質の向上にどの程度効果的か？
• RQ3 プロンプトベース手法は、再トレーニングなしに翻訳における語彙制約をどの程度効果的に実装できるか？
• RQ4 トレーニングコストをゼロに保ちながら、BLEUスコアおよび正確性の観点で、本手法の性能は微調整と比べてどの程度か？
• RQ5 ドメイン固有の並列コーパスをモデルにさらさないことで、ユーザーのデータプライバシーをどのように保護できるか？

主な発見

• RePPは、英語→ドイツ語およびドイツ語→英語の両方向において、追加のトレーニングを伴わず、ドメイン固有の翻訳で平均BLEUスコアを6.2ポイント向上させた。
• 語彙制約の正確性は11.5%の絶対的向上を達成し、Wiktionaryベンチマークでは93.67%、IATEベンチマークでは95.41%の正確性を達成した。
• ゼロショット設定下で、vanilla NMTモデルに比べ、英語→ドイツ語翻訳で6.7 BLEUポイント、ドイツ語→英語翻訳で5.6 BLEUポイントの向上を達成した。
• RePPの性能は完全に教師ありの微調整と同等の水準に達しており、BLEUスコアではわずかに劣っているが、依然として競争力がある。
• ユーザーが完全な並列コーパスではなく、フィルタリングされたフレーズデータベースのみを共有することで、効果的で高速かつプライバシー保護型の適応が可能になった。
• 事例研究により、プロンプトの構成が翻訳出力を明示的に制御できることを確認し、本手法の解釈可能性と制御可能性を示した。