[논문 리뷰] Tower: An Open Multilingual Large Language Model for Translation-Related Tasks

Duarte Alves, José P. Pombal외 11명|arXiv (Cornell University)|2024. 02. 27.

Topic Modeling인용 수 6

한 줄 요약

타워는 번역 워크플로에 맞춘 오픈 다국어 LLM으로, 지속적 사전훈련과 지시 지향 미세조정을 통해 구축되었고, 오픈 경쟁자들을 능가하며 폐쇄형 모델의 성능에 근접하고, 공개 자원을 제공합니다.

ABSTRACT

While general-purpose large language models (LLMs) demonstrate proficiency on multiple tasks within the domain of translation, approaches based on open LLMs are competitive only when specializing on a single task. In this paper, we propose a recipe for tailoring LLMs to multiple tasks present in translation workflows. We perform continued pretraining on a multilingual mixture of monolingual and parallel data, creating TowerBase, followed by finetuning on instructions relevant for translation processes, creating TowerInstruct. Our final model surpasses open alternatives on several tasks relevant to translation workflows and is competitive with general-purpose closed LLMs. To facilitate future research, we release the Tower models, our specialization dataset, an evaluation framework for LLMs focusing on the translation ecosystem, and a collection of model generations, including ours, on our benchmark.

연구 동기 및 목표

• 번역 워크플로우에 특화된 오픈 LLM의 필요성을 제고한다.
• 번역에 맞게 LLM을 조정하기 위한 2단계 학습 레시피를 개발한다: 다국어 데이터에 대한 지속적 사전학습(TowerBase)과 지시 지향 미세조정(TowerInstruct).
• 번역 관련 작업 및 워크플로우에서 결과 모델을 오픈 및 폐쇄 기준선과 비교 평가한다.
• 향후 연구를 촉진하기 위해 모델, 데이터세트, 평가 프레임워크 등 자원을 공개한다.

제안 방법

• 다국어 단일언어 데이터와 병렬 데이터의 혼합을 활용하여 지속적 사전학습을 수행해 TowerBase를 얻는다.
• 번역 관련 지시를 대상으로 TowerBase를 파인튜닝하여 TowerInstruct를 얻는다.
• 번역 관련 작업 및 워크플로우에서 TowerBase와 TowerInstruct를 오픈 및 폐쇄 모델과 비교 평가한다.
• 특화 데이터세트, 평가 프레임워크 및 벤치마킹용 모델 생성 결과를 공개한다.

실험 결과

연구 질문

• RQ1 다국어 데이터에 대한 지속적 사전학습이 번역 관련 작업에 대해 오픈 LLM의 성능을 향상시킬 수 있는가?
• RQ2 번역 워크플로우에 대한 지시 기반 미세조정이 기본 사전학습을 넘는 성능 향상을 가져오는가?
• RQ3 번역 작업 및 워크플로우에서 Tower 모델은 오픈 LLM 및 폐쇄형 일반용 LLM과 어떻게 비교되는가?
• RQ4 번역 중심 LLM 연구를 가장 잘 촉진하는 자원(데이터세트, 평가 프레임워크)은 무엇인가?

주요 결과

• TowerBase 및 TowerInstruct는 여러 번역-워크플로우 과제에서 오픈 대안들을 능가한다.
• Tower 모델은 일반 목적의 폐쇄형 LLM과의 경쟁력 있는 성능을 달성한다.
• 저자들은 재현성을 지원하기 위해 모델들, 특화 데이터세트, 평가 프레임워크 및 예시 생성 결과를 공개한다.