[論文レビュー] Adapting Large Language Models for Document-Level Machine Translation

Minghao Wu, Thuy-Trang Vu+3 more|arXiv (Cornell University)|Jan 12, 2024

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文は、モデレートサイズのLLMを文書レベルの機械翻訳（DocMT）へ適応させるため、モノリンガルおよびパラレル文書のファインチューニングを介して、PEFTと全ファインチューニング、プロンプト、モデルバックボーンを複数の言語ペアに渡って比較・検討し、オフターゲット翻訳と談話現象を分析する。

ABSTRACT

Large language models (LLMs) have significantly advanced various natural language processing (NLP) tasks. Recent research indicates that moderately-sized LLMs often outperform larger ones after task-specific fine-tuning. This study focuses on adapting LLMs for document-level machine translation (DocMT) for specific language pairs. We first investigate the impact of prompt strategies on translation performance and then conduct extensive experiments using two fine-tuning methods, three LLM backbones, and 18 translation tasks across nine language pairs. Our results show that specialized models can sometimes surpass GPT-4 in translation performance but still face issues like off-target translation due to error propagation in decoding. We provide an in-depth analysis of these LLMs tailored for DocMT, examining translation errors, discourse phenomena, strategies for training and inference, the data efficiency of parallel documents, recent test set evaluations, and zero-shot crosslingual transfer. Our findings highlight the strengths and limitations of LLM-based DocMT models and provide a foundation for future research.

研究の動機と目的

• Prompt戦略がDocMT性能にどう影響するかを評価する。
• 複数のLLMバックボーンで2つのファインチューニングパラダイム（PEFTとFFT）を評価する。
• LLMベースのDocMTを最先端の教師付きMTおよびGPT-4ベースラインと比較する。
• LLMベースのDocMTの強みと限界を理解するため、翻訳エラー、談話現象、訓練戦略を分析する。
• 並列文書のファインチューニングとゼロショットのクロスリンガル転送のスケーリング法を検討する。

提案手法

• モデレートサイズのLLM（7B）を、モノリンガルデータ→パラレルデータの2段階、場合によっては3段階の学習でファインチューニングする。
• LoRAによるパラメータ効率的ファインチューニングと全ファインチューニングを、Llama2-7B、Bloom-7B、Vicuna-7Bの3バックボーンで比較する。
• 9言語ペアに基づくIWSLT2017パラレル文書データを用いた18の翻訳タスクを使用する。
• ファインチューニングと推論の際の文脈・指示効果を評価するため、4種類のプロンプトタイプを含むプロンプティングの変化を調査する。
• sBLEU、dBLEU、COMETで評価し、オフターゲット翻訳と談話現象を分析する。
• WMT2023テストセットへの汎化とゼロショットのクロスリンガル転送を検討する。

実験結果

リサーチクエスチョン

• RQ1 異なるプロンプティング戦略がファインチューニングと文書レベル翻訳性能にどう影響するか。
• RQ2 PEFT（LoRA）と全ファインチューニングがデータ効率、性能、オーバーフィットの点でDocMTにおいてどう異なるか。
• RQ3 モデレートサイズのLLMがタスク固有のDocMTファインチューニングでGPT-4を特定の言語ペアやタスクで上回るか。
• RQ4 LLMベースのDocMTの主なエラー源（例：オフターゲット翻訳、談話エラー）は何か、従来のDocMTとどう比較されるか。
• RQ5 スケーリングと訓練戦略が性能と汎化、ゼロショットのクロスリンガル転送を含めてどう影響するか。

主な発見

• モデレートサイズのLLMとDocMTファインチューニングは、特定の言語ペアでGPT-4-turboタスクを一部上回ることがあるが、他ではオフターゲット翻訳の問題が生じやすい。
• PEFT（LoRA）は全ファインチューニングよりも多くの場合優れており、FFTはデータの約1%程度のデータ効率を達成する一方、LoRAは同等の結果を得るのに約10%を要する。
• 英語→他言語では従来型DocMTモデルが標準指標でLLMベースDocMTを上回ることがあるが、他言語→英語方向ではLLMベースDocMTが従来のDocMTと同等以上、または上回る場合があり、COMETは従来のDocMTを支持する傾向。
• LoRAモデルは一般にFFTより移行性が高く過剰適合が少ない一方、FFTでは過剛合のケースもある。
• オフターゲット翻訳率は特定のタスクで非常に高くなることがあり（最大98.3%）、Bloomベースの多言語バックボーンはこのリスクを抑えることがある（例：B-7B-LoRA）。
• 3段階の訓練は強力な言語にとって一貫して必要ではなく、スケーリング法は小さなデータサブセットでも特定の設定でほぼピーク性能に達することを示す。
• 多言語ベースで事前学習され、非指示調整バックボーンを持つLLMsは、指示調整バリアントよりも多くの場合ゼロショットのクロスリンガル転送で有利となる。