[논문 리뷰] Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA

Marco Polignano, Pierpaolo Basile외 1명|arXiv (Cornell University)|2024. 05. 11.

Linguistic Studies and Language Acquisition인용 수 5

한 줄 요약

본 논문은 LLaMAntino-3-ANITA를 제시한다. 이는 LLaMA-3 기반의 이탈리아어 적응 대형 언어모델로, SFT로 미세조정되고 DPO로 정합성 향상을 달성해 안전하고 효율적인 이탈리아 NLP 작업에 활용된다. 또한 매개변수 효율적 미세조정을 위한 QLoRA를 활용하고 이탈리아어 및 영어 벤치마크에서 강력한 성능을 보여준다.

ABSTRACT

In the pursuit of advancing natural language processing for the Italian language, we introduce a state-of-the-art Large Language Model (LLM) based on the novel Meta LLaMA-3 model: LLaMAntino-3-ANITA-8B-Inst-DPO-ITA. We fine-tuned the original 8B parameters instruction tuned model using the Supervised Fine-tuning (SFT) technique on the English and Italian language datasets in order to improve the original performance. Consequently, a Dynamic Preference Optimization (DPO) process has been used to align preferences, avoid dangerous and inappropriate answers, and limit biases and prejudices. Our model leverages the efficiency of QLoRA to fine-tune the model on a smaller portion of the original model weights and then adapt the model specifically for the Italian linguistic structure, achieving significant improvements in both performance and computational efficiency. Concurrently, DPO is employed to refine the model's output, ensuring that generated content aligns with quality answers. The synergy between SFT, QLoRA's parameter efficiency and DPO's user-centric optimization results in a robust LLM that excels in a variety of tasks, including but not limited to text completion, zero-shot classification, and contextual understanding. The model has been extensively evaluated over standard benchmarks for the Italian and English languages, showing outstanding results. The model is freely available over the HuggingFace hub and, examples of use can be found in our GitHub repository. https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA

연구 동기 및 목표

• 메타 LLaMA-3를 기반으로 한 최첨단 LLM으로 이탈리아어 자연어 처리를 발전시키다.
• 영어 및 이탈리아어 데이터셋을 사용해 SFT로 8B 매개변수 모델을 미세조정하여 성능을 향상시킨다.
• Dynamic Preference Optimization (DPO)를 통해 안전성과 정합성을 개선하고 위험한 응답과 편향을 줄인다.
• 이탈리아어의 언어 구조에 대한 효율성을 높이기 위해 매개변수 효율적인 미세조정(QLoRA)을 활용한다.

제안 방법

• 영어 및 이탈리아어 데이터셋을 사용하여 8B 매개변수 LLaMA-3 모델을 Supervised Fine-tuning (SFT)로 미세조정한다.
• 출력을 품질 및 안전 선호도에 맞추기 위해 Dynamic Preference Optimization (DPO)을 적용한다.
• 모델 가중치의 하위 집합에서 매개변수 효율적인 미세조정을 달성하기 위해 QLoRA를 사용한다.
• 이탈리아어의 언어 구조에 맞게 모델을 적응시켜 이탈리아어 태스크의 성능을 향상시킨다.
• 이탈리아어 및 영어 언어 과제에 대한 표준 벤치마크에서 평가한다.
• HuggingFace에서 모델을 공개하고 GitHub에서 사용 예시를 제공한다.

실험 결과

연구 질문

• RQ1 8B 매개변수 LLaMA-3 모델을 SFT와 DPO를 통해 이탈리아어 관련 고품질 NLP 태스크에 효과적으로 적응시킬 수 있는가?
• RQ2 QLoRA를 통한 매개변수 효율적 미세조정이 계산 자원을 줄이는 동시에 이탈리아어 언어 성능을 보존하거나 향상시키는가?
• RQ3 LLaMAntino-3-ANITA 모델이 이탈리아어 및 영어 벤치마크에서 출력의 안전성, 편향 감소 및 품질 기준에 얼마나 잘 정합되는가?
• RQ4 다국어 NLP 평가 과제에서 SFT, QLoRA, DPO를 결합한 실질적 결과는 무엇인가?

주요 결과

• 제안된 접근법은 이탈리아어 및 영어 표준 벤치마크에서 탁월한 결과를 얻는다(저자들이 주장하듯).
• SFT는 8B LLaMA-3 모델의 지시 이행 및 이탈리아어 태스크 성능을 향상시킨다.
• QLoRA는 가중치의 더 작은 하위 집합을 업데이트하여 매개변수 조정의 효율성을 가능하게 하고 계산 요구를 감소시킨다.
• DPO는 출력이 안전성과 품질 선호도에 맞도록 다듬어 위험하거나 편향된 응답을 제한한다.
• 모델은 HuggingFace 허브에서 공개되며 GitHub에서 사용 예시가 제공된다.