[论文解读] Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA

Marco Polignano, Pierpaolo Basile+1 more|arXiv (Cornell University)|May 11, 2024

Linguistic Studies and Language Acquisition被引用 5

一句话总结

论文提出 LLaMAntino-3-ANITA，一种以意大利为适配的基于 LLaMA-3 的大型语言模型，采用 SFT 微调并通过 DPO 对齐以实现对意大利语 NLP 任务的安全、高效。它利用 QLoRA 实现参数高效微调，并在意大利语和英语基准上展示出强劲表现。

ABSTRACT

In the pursuit of advancing natural language processing for the Italian language, we introduce a state-of-the-art Large Language Model (LLM) based on the novel Meta LLaMA-3 model: LLaMAntino-3-ANITA-8B-Inst-DPO-ITA. We fine-tuned the original 8B parameters instruction tuned model using the Supervised Fine-tuning (SFT) technique on the English and Italian language datasets in order to improve the original performance. Consequently, a Dynamic Preference Optimization (DPO) process has been used to align preferences, avoid dangerous and inappropriate answers, and limit biases and prejudices. Our model leverages the efficiency of QLoRA to fine-tune the model on a smaller portion of the original model weights and then adapt the model specifically for the Italian linguistic structure, achieving significant improvements in both performance and computational efficiency. Concurrently, DPO is employed to refine the model's output, ensuring that generated content aligns with quality answers. The synergy between SFT, QLoRA's parameter efficiency and DPO's user-centric optimization results in a robust LLM that excels in a variety of tasks, including but not limited to text completion, zero-shot classification, and contextual understanding. The model has been extensively evaluated over standard benchmarks for the Italian and English languages, showing outstanding results. The model is freely available over the HuggingFace hub and, examples of use can be found in our GitHub repository. https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA

研究动机与目标

• 以基于 Meta LLaMA-3 的最先进大型语言模型推进意大利自然语言处理。
• 使用 SFT 在英语和意大利语数据集上微调一个 8B 参数的模型以提升性能。
• 通过 Dynamic Preference Optimization (DPO) 改善安全性与对齐，以降低危险回答与偏见。
• 利用 QLoRA 实现参数高效微调，提高对意大利语言结构的适应性效率。

提出的方法

• 使用受监督微调（SFT）在英语和意大利语数据集上微调 8B 参数的 LLaMA-3 模型。
• 应用 Dynamic Preference Optimization (DPO) 使输出与质量与安全偏好对齐。
• 使用 QLoRA 对模型权重的子集实现参数高效微调。
• 将模型适应于意大利语言结构以提升意大利语任务的表现。
• 在意大利语和英语语言任务的标准基准上进行评估。
• 在 HuggingFace 上公开发布模型，并在 GitHub 提供用法示例。

实验结果

研究问题

• RQ1 是否可以通过 SFT 和 DPO 将 8B 参数的 LLaMA-3 模型有效适配到意大利语，以实现高质量的意大利语 NLP 任务？
• RQ2 通过 QLoRA 的参数高效微调在降低计算需求的同时，是否能保持或提升意大利语语言表现？
• RQ3 LLaMAntino-3-ANITA 模型在意大利语和英语基准中，输出与安全、偏见降低及质量标准的对齐程度如何？
• RQ4 将 SFT、QLoRA 与 DPO 结合用于多语言 NLP 评测任务的实际结果是什么？

主要发现

• 所提出的方法在意大利语和英语标准基准上取得了卓越的结果（如作者所述）。
• SFT 提升了对指令的遵循性以及 8B LLaMA-3 模型在意大利语任务上的表现。
• QLoRA 通过更新较小权重子集实现高效微调，降低计算需求。
• DPO 细化输出，使其与安全与质量偏好对齐，限制危险或带有偏见的回答。
• 该模型可在 HuggingFace hub 上公开获取，且在 GitHub 有用法示例。