[論文レビュー] Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA

Marco Polignano, Pierpaolo Basile+1 more|arXiv (Cornell University)|May 11, 2024

Linguistic Studies and Language Acquisition被引用数 5

ひとこと要約

この論文は、LLaMAntino-3-ANITAを提示する。イタリア語適応のLLaMA-3ベースのLLMをSFTでファインチューニングし、DPOと整合させて安全かつ効率的なイタリア語NLPタスクを実現する。QLoRAを活用したパラメータ効率のファインチューニングを行い、イタリア語と英語のベンチマークで高い性能を示す。

ABSTRACT

In the pursuit of advancing natural language processing for the Italian language, we introduce a state-of-the-art Large Language Model (LLM) based on the novel Meta LLaMA-3 model: LLaMAntino-3-ANITA-8B-Inst-DPO-ITA. We fine-tuned the original 8B parameters instruction tuned model using the Supervised Fine-tuning (SFT) technique on the English and Italian language datasets in order to improve the original performance. Consequently, a Dynamic Preference Optimization (DPO) process has been used to align preferences, avoid dangerous and inappropriate answers, and limit biases and prejudices. Our model leverages the efficiency of QLoRA to fine-tune the model on a smaller portion of the original model weights and then adapt the model specifically for the Italian linguistic structure, achieving significant improvements in both performance and computational efficiency. Concurrently, DPO is employed to refine the model's output, ensuring that generated content aligns with quality answers. The synergy between SFT, QLoRA's parameter efficiency and DPO's user-centric optimization results in a robust LLM that excels in a variety of tasks, including but not limited to text completion, zero-shot classification, and contextual understanding. The model has been extensively evaluated over standard benchmarks for the Italian and English languages, showing outstanding results. The model is freely available over the HuggingFace hub and, examples of use can be found in our GitHub repository. https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA

研究の動機と目的

• Meta LLaMA-3をベースとした最先端のLLMでイタリア語自然言語処理を前進させる。
• 英語およびイタリア語のデータセットを用いて8BパラメータのモデルをSFTでファインチューニングし、パフォーマンスを向上させる。
• Dynamic Preference Optimization (DPO)を用いて安全性と整合性を改善し、危険な応答やバイアスを低減する。
• イタリア語の言語構造に対して効率を高めるため、パラメータ効率的なファインチューニングを実現するためにQLoRAを活用する。

提案手法

• 英語およびイタリア語データセットを用いて8BパラメータのLLaMA-3モデルをSupervised Fine-tuning (SFT)でファインチューニングする。
• QualityとSafetyの好みに出力を整列させるためにDynamic Preference Optimization (DPO)を適用する。
• モデルウェイトの一部に対してパラメータ効率的なファインチューニングを実現するためにQLoRAを使用する。
• イタリア語の言語構造にモデルを適応させ、イタリア語タスクの性能を向上させる。
• イタリア語および英語の標準ベンチマークで評価する。
• HuggingFaceでモデルを公開し、GitHubに利用例を提供する。

実験結果

リサーチクエスチョン

• RQ1 8BパラメータのLLaMA-3モデルは、SFTとDPOを介してイタリア語NLPタスクの高品質化のために効果的にイタリア語へ適応できるか？
• RQ2 QLoRAによるパラメータ効率的なファインチューニングは、計算資源を削減しつつイタリア語の言語性能を維持または向上させるか？
• RQ3 LLaMAntino-3-ANITAモデルは、イタリア語および英語のベンチマークで、出力を安全性、バイアス削減、品質基準にどれだけ整列させられるか？
• RQ4 SFT、QLoRA、DPOを組み合わせた多言語NLP評価タスクの実践的成果は何か？

主な発見

• 提案手法は、著者らの主張どおり、イタリア語および英語の標準ベンチマークで優れた結果を生む。
• SFTは、8B LLaMA-3モデルの指示対依頼の遂行とイタリア語タスクの性能を向上させる。
• QLoRAは、ウェイトのより小さなサブセットを更新することで効率的なファインチューニングを可能にし、計算リソースを削減する。
• DPOは安全性と品質の好みに出力を合わせて出力を洗練させ、危険な応答や偏った応答を制限する。
• モデルはHuggingFaceハブで公開され、GitHubに利用例がある。