[논문 리뷰] Adapting Large Language Models for Document-Level Machine Translation

Minghao Wu, Thuy-Trang Vu외 3명|arXiv (Cornell University)|2024. 01. 12.

Natural Language Processing Techniques인용 수 7

한 줄 요약

본 논문은 monolingual 및 parallel-document 미세조정을 통해 문서 수준 MT(DocMT)에 적당히 크기의 LLM을 적용하는 방법을 탐구하고, PEFT vs 전체 미세조정, 프롬프트, 및 다국어 쌍에 걸친 모델 백본을 다각도로 비교하며, 비목표 번역 및 담론 현상을 분석한다.

ABSTRACT

Large language models (LLMs) have significantly advanced various natural language processing (NLP) tasks. Recent research indicates that moderately-sized LLMs often outperform larger ones after task-specific fine-tuning. This study focuses on adapting LLMs for document-level machine translation (DocMT) for specific language pairs. We first investigate the impact of prompt strategies on translation performance and then conduct extensive experiments using two fine-tuning methods, three LLM backbones, and 18 translation tasks across nine language pairs. Our results show that specialized models can sometimes surpass GPT-4 in translation performance but still face issues like off-target translation due to error propagation in decoding. We provide an in-depth analysis of these LLMs tailored for DocMT, examining translation errors, discourse phenomena, strategies for training and inference, the data efficiency of parallel documents, recent test set evaluations, and zero-shot crosslingual transfer. Our findings highlight the strengths and limitations of LLM-based DocMT models and provide a foundation for future research.

연구 동기 및 목표

• Prompt 전략이 DocMT 성능에 미치는 영향 평가.
• 여러 LLM 백본에서 두 가지 미세조정 패러다임(PEFT와 FFT)을 DocMT에 대해 평가.
• LLM 기반 DocMT를 최첨단 감독 MT 및 GPT-4 기준선과 비교.
• LLM 기반 DocMT의 번역 오류, 담론 현상, 학습 전략을 분석하여 강점과 한계 이해.
• 평행 문서 미세조정 및 제로샷 교차언어 전이의 스케일링 법칙 조사.

제안 방법

• 모듈로크 크기의 LLM(7B)을 두 단계, 경우에 따라 세 단계의 학습으로 단일 언어 데이터는 먼저, 그다음 병렬 데이터로 미세조정한다.
• LoRA와 전체 미세조정의 매개변수 효율성 차이를 Llama2-7B, Bloom-7B, Vicuna-7B의 세 백본에서 비교한다.
• IWSLT2017 병렬 문서 데이터를 기반으로 9개 언어쌍의 18개 번역 태스크를 사용한다.
• 미세조정 및 추론 중 맥락 및 지시효과를 평가하기 위해 프롬프트 변형(4가지 프롬프트 유형)을 조사한다.
• sBLEU, dBLEU, COMET으로 평가하고 오프타깃 번역 및 담론 현상을 분석한다.
• WMT2023 테스트 세트에 대한 일반화 및 제로샷 교차언어 전이의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다른 프롬프트 전략이 미세조정 및 문서 수준 번역 성능에 어떤 영향을 미치는가?
• RQ2 PEFT(LoRA)와 전체 미세조정이 데이터 효율성, 성능 및 과적합 측면에서 DocMT에 대해 어떻게 비교되는가?
• RQ3 적당히 크기가 있는 LLM이 DocMT 특정 작업에서 GPT-4를 능가하는가?
• RQ4 LLM 기반 DocMT의 주요 오류 원인은 무엇이며(예: 타깃 이탈 번역, 담론 오류) 기존 DocMT와 어떻게 비교되는가?
• RQ5 스케일링 및 학습 전략이 제로샷 교차언어 전이를 포함한 성능 및 일반화에 어떤 영향을 미치는가?

주요 결과

• 적당히 크기의 LLM과 DocMT 미세조정을 통해 일부 언어쌍에서 GPT-4-turbo 태스크를 능가할 수 있지만, 다른 태스크에서는 타깃 이탈 번역 문제가 발생한다.
• PEFT(LoRA)가 일반적으로 전체 미세조정보다 우수하며, FFT는 데이터의 약 1% 수준의 데이터 효율성을 달성하는 반면, LoRA는 비슷한 결과를 얻는 데 약 10%의 데이터가 필요하다.
• 영어→다른 언어 방향에서는 전통적인 DocMT 모델이 표준 지표에서 LLM 기반 DocMT를 능가할 수 있지만, 다른 방향에서 LLM 기반 DocMT가 sBLEU 및 dBLEU에서 전통적인 DocMT와 동등하거나 우위를 보이고, COMET은 전통적 DocMT를 선호하는 경향이 있다.
• LoRA 모델은 일반적으로 FFT보다 전이 학습성과 과적합이 덜 나타나지만, 일부 경우 FFT에서 과적합이 나타난다.
• 타깃 이탈 번역 비율이 실패 태스크에서 매우 높을 수 있으며(최대 98.3%), Bloom 기반 다국어 백본은 이러한 위험을 줄일 수 있는 경우가 있다(B-7B-LoRA 등).
• 세 단계 학습은 강한 언어에서 반드시 필요하지 않으며, 스케일링 법칙은 특정 설정에서 소량 데이터 하위집합도 거의 최고치에 근접한 성능을 달성할 수 있음을 시사한다.
• 다국어 기초와 비지시문 tune-backbone으로 사전 학습된 LLM은 많은 경우 지시문 조정_variant보다 제로샷 교차언어 전이에서 더 나은 결과를 낼 수 있다.