[論文レビュー] The unreasonable effectiveness of few-shot learning for machine translation

Xavier García, Yamini Bansal+6 more|arXiv (Cornell University)|Feb 2, 2023

Natural Language Processing Techniques被引用数 24

ひとこと要約

自己教師付きデータで訓練された8Bデコーダーのみモデルを用いた少数ショット翻訳は、5件の文脈内デモンストレーションだけで高資源言語ペアにおける専門的な監視 Baselines に匹敵または上回り、低資源設定へも拡張し、出力をコントロール可能にする。

ABSTRACT

We demonstrate the potential of few-shot translation systems, trained with unpaired language data, for both high and low-resource language pairs. We show that with only 5 examples of high-quality translation data shown at inference, a transformer decoder-only model trained solely with self-supervised learning, is able to match specialized supervised state-of-the-art models as well as more general commercial translation systems. In particular, we outperform the best performing system on the WMT'21 English - Chinese news translation task by only using five examples of English - Chinese parallel data at inference. Moreover, our approach in building these models does not necessitate joint multilingual training or back-translation, is conceptually simple and shows the potential to extend to the multilingual setting. Furthermore, the resulting models are two orders of magnitude smaller than state-of-the-art language models. We then analyze the factors which impact the performance of few-shot translation systems, and highlight that the quality of the few-shot demonstrations heavily determines the quality of the translations generated by our models. Finally, we show that the few-shot paradigm also provides a way to control certain attributes of the translation -- we show that we are able to control for regional varieties and formality using only a five examples at inference, paving the way towards controllable machine translation systems.

研究の動機と目的

• 大規模な並列コーパスやバック翻訳を使わずに翻訳モデルを構築するために、少数ショット学習の利用を動機づける。
• 8Bのデコーダーのみモデルが商用ベースラインを上回り、英独・英中の翻訳でWMT風のベースラインに近づくことを示す。
• 本手法が低資源言語（アイスランド語）にも拡張可能で、デモンストレーションの選択によって出力を制御できる（地域方言・形式度）ことを示す。
• デモンストレーションの品質とスタイル制御効果を重視し、少数ショット翻訳性能に影響を与える要因を分析する。

提案手法

• 32層、ヘッド16、隠れ次元4096、マルチクエリアテンションを備えたデコーダー専用のTransformerを用いる。
• デコーダー専用モデル向けのUL2目的関数の変種を用いて訓練し、2つのスパン破損インスタンス、プレフィックス言語モデリング、因果言語モデリング objectives を組み合わせる。
• 推論時に開発セットから5つのデモンストレーションをサンプリングし、MBRデコードと学習済みBLEURTベースのユーティリティを用いたテンプレートプロンプトを使用して少数ショット翻訳を行う。
• 主にBLEURT-20で評価し、補足として付録にBLEUを報告し、WMTベースライン、Google Translate、PaLM、マルチ言語・双方向LMと比較する。
• 各言語あたりデータ制約を一定にした状態で多言語拡張（バイリンガル対トライリンガル）を検討し、アイスランド語における訓練データ量とエポック数が性能に及ぼす影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きデータで訓練された8Bデコーダーのみモデルは、バック翻訳や大規模な並列コーパスなしで、少数ショット設定で競争力のある翻訳品質を達成できるか。
• RQ2 デモンストレーションの品質とスタイルが少数ショット翻訳の翻訳品質と制御性にどう影響するか。
• RQ3 少数ショットアプローチは低資源言語へ拡張できるか、地域的方言や形式性の制御をサポートできるか。
• RQ4 この設定でMBRデコードとビームサーチを比較した場合の影響と、提供コストのトレードオフは何か。
• RQ5 多言語訓練または制約付き多言語訓練が、少数ショット翻訳における各言語の性能にどう影響するか。

主な発見

• 8Bデコーダーのみの少数ショットモデルは、商用翻訳ベースラインを上回り、英独および英中の方向でWMT’21のいくつかのベースラインに近づく、または超えることが五つの文脈内デモンストレーションを使用したときに示された。
• 低資源のアイスランド語翻訳では、WMTベースラインと競合し、データ量がはるかに少ないにもかかわらず少なくとも一方向でいくつかの商用ベースラインを上回る。
• デモンストレーションの品質は翻訳品質を強く予測する。高品質のデモはBLEURTスコアを向上させ、地域方言や形式性に合わないデモは性能を低下させる。
• デモンストレーションのスタイルは出力を制御可能にする。ターゲット地域の方言や形式性レベルを反映するデモを用いるとFRMTスコアと形式性精度が高まり、ファインチューニングなしでの制御可能なMTの可能性を示す。
• MBRデコードは、評価設定全体でビームサーチよりBLEURTスコアを一貫して改善するが、計算量はより多くなる。