[論文レビュー] Using natural language prompts for machine translation

Xavier García, Orhan Fırat|arXiv (Cornell University)|Feb 23, 2022

Natural Language Processing Techniques被引用数 15

ひとこと要約

本論文では、従来の言語タグの代わりに自然言語のプロンプト（例：'スペイン語に翻訳してください：'）を用いて多言語機械翻訳モデルを制御することを提案する。事前学習済みモデルをタグの代わりにプロンプトでファインチューニングすることで、未学習言語に対しても、英語名のみを用いてゼロショット翻訳が可能となり、最小限のファインチューニングで強く、追加パラメータなしに高い性能を達成する。

ABSTRACT

We explore the use of natural language prompts for controlling various aspects of the outputs generated by machine translation models. We demonstrate that natural language prompts allow us to influence properties like formality or specific dialect of the output. We show that using language names to control the output language of multilingual translation models enables positive transfer for unseen language pairs. This unlocks the ability to translate into languages not seen during fine-tuning by using their English names. We investigate how scale, number of pre-training steps, number of languages in fine-tuning, and language similarity affect this phenomenon.

研究の動機と目的

• 自然言語プロンプトが翻訳出力のフォーマルさや口語的表現といった性質を制御できるかどうかを調査すること。
• 追加パラメータを導入せずに、プロンプトが多言語翻訳モデルにおける言語タグの代替として機能するかどうかを検討すること。
• プロンプトが、ファインチューニング時に見られなかった言語へのゼロショット翻訳を可能にするかどうかを評価すること。
• モデルスケール、事前学習データ、言語数、言語の類似性がプロンプトベースの転移に与える影響を分析すること。

提案手法

• 入力シーケンスにおいて、従来の言語タグ（例：<2es>）の代わりに自然言語プロンプト（例：'スペイン語に翻訳してください：'）を用いる。
• タグの代わりにプロンプトを用いて並列データ上で多言語翻訳モデルをファインチューニングし、元のモデルアーキテクチャを保持する。
• 推論時、未学習言語に対しても、英語の言語名（例：'スペイン語'、'ドイツ語'）を用いてターゲット言語を指定する。
• 見知らぬ言語ペアに対して性能劣化を避けるために、言語タグ付きモデルをわずか100ステップのみファインチューニングしてプロンプト適応モデルを訓練する。
• 完全な監視、ゼロショット、1つの並列言語、並列データなしの4段階のデータ監視レベルで性能を評価する。
• 3つのモデルバージョンを比較する：言語タグ付きモデル、プロンプトからスクラッチで訓練したモデル、および言語タグ付きモデルをファインチューニングしてプロンプトを適用したモデル（適応モデル）。

実験結果

リサーチクエスチョン

• RQ1 自然言語プロンプトは、翻訳出力のフォーマルさや口語的表現を効果的に制御できるか？
• RQ2 言語名をプロンプトとして使用することで、ファインチューニング時に見られなかった言語へのゼロショット翻訳が可能になるか？
• RQ3 モデルスケール、事前学習データ、言語数、言語の類似性が、プロンプトベースの転移にどのように影響するか？
• RQ4 言語タグ付きモデルをプロンプトの使用にファインチューニングすることは、プロンプトからスクラッチで訓練するのと比較して、より良い性能をもたらすか？

主な発見

• 言語タグ付きモデルをプロンプトの使用にファインチューニングした適応モデル（Adapted model）は、特に並列データのない言語ペアにおいて、ゼロショット翻訳で顕著な改善を示した。
• 英語→ドイツ語翻訳タスクにおいて、適応モデルは36.6のBLEUスコアを達成したのに対し、言語タグ付きベースラインは18.6であった。これは強力なゼロショット転移を示している。
• ゼロショットのフランス語→スペイン語ペアでは、適応モデルが34.8のBLEUスコアを記録し、言語タグ付きモデルの43.8よりも顕著に向上した。これは、プロンプトの一般化能力が有効に機能していることを示している。
• 監視付き言語ペアにおいても、適応モデルはほぼ同等の性能を維持した（例：英語→フランス語では40.4 vs. 40.0のBLEUスコア）。これは、学習済み言語ペアに与える負の影響が最小限であることを示している。
• スクラッチからプロンプトで訓練したモデルは、言語タグを使用するモデルより劣った結果を示した。これは、プロンプト学習が事前学習済みのインダクティブバイアスの恩恵を受けることを示唆している。
• 本手法により、'グジャラト語'や'チェコ語'といった未学習言語の英語名のみを用いて、追加パラメータやラベル付きデータなしに翻訳が可能になった。