[论文解读] VinaLLaMA: LLaMA-based Vietnamese Foundation Model

Quan Nguyen, Huy Pham+1 more|arXiv (Cornell University)|Dec 18, 2023

Natural Language Processing Techniques被引用 5

一句话总结

VinaLLaMA 是一个基于 LLaMA-2 的 70 亿参数、开源权重的越南语基础模型，通过包含 100 万个高质量合成样本和多样化公开越南语数据的 8000 亿 token 训练而成。它在关键越南语基准测试（VLSP、VMLU、Vicuna Benchmark 越南语）中达到最先进性能，树立了越南语 NLP 的新标准，具备强大的双语能力，并在推理和生成任务中取得最先进结果。

ABSTRACT

In this technical report, we present VinaLLaMA, an open-weight, state-of-the-art (SOTA) Large Language Model for the Vietnamese language, built upon LLaMA-2 with an additional 800 billion trained tokens. VinaLLaMA not only demonstrates fluency in Vietnamese but also exhibits a profound understanding of Vietnamese culture, making it a truly indigenous model. VinaLLaMA-7B-chat, trained on 1 million high-quality synthetic samples, achieves SOTA results on key benchmarks, including VLSP, VMLU, and Vicuna Benchmark Vietnamese, marking a significant advancement in the Vietnamese AI landscape and offering a versatile resource for various applications.

研究动机与目标

• 开发一个高性能、开源的基础模型，专门针对越南语，以解决越南语本土高质量大语言模型匮乏的问题。
• 通过多样化、高质量的越南语文本（包括文学、新闻和合成数据）进行训练，提升越南语 NLP 的语言和文化流利度。
• 在保持强大双语（越南语-英语）能力的同时，实现在越南语基准测试中的最先进性能。
• 通过在 HuggingFace 上完全兼容地公开发布模型，促进越南人工智能研究的广泛访问与协作。
• 展示合成数据和指令微调在构建低资源语言专用高性能语言模型方面的有效性。

提出的方法

• 使用 100 万个高质量合成指令微调样本对 LLaMA-2-7B 进行微调，使模型输出与人类响应对齐。
• 构建了一个约 8000 亿 token 的预训练数据集，结合了 25 万本越南语书籍、200 万个越南语新闻文章（VnExpress、BaoMoi）、CulturaX 越南语子集以及 1000 亿英语 token。
• 采用 BKAI 开发的 LLaMA-2-chat 分词器，专为越南语优化，提升了分词效率和覆盖率。
• 在结合公开数据与合成数据集上进行持续预训练，随后使用指令数据进行监督微调。
• 利用 GPT-3.5 和 GPT-4 生成的合成数据进行指令微调，以提升零样本和少样本泛化能力。
• 在多个基准测试上评估性能，包括 VLSP、VMLU、Vicuna Benchmark 越南语，以及 HuggingFace OpenLLM Leaderboard，以评估双语能力。

Figure 2: The first stage of generating synthetic data for pretraining

实验结果

研究问题

• RQ1 通过针对性的预训练和指令微调，基于 LLaMA-2 的模型是否能在越南语 NLP 基准测试中实现最先进性能？
• RQ2 在越南语等低资源语言模型中，合成数据在提升指令遵循和推理能力方面的有效性如何？
• RQ3 多语言预训练策略在越南语专注型大语言模型中，能在多大程度上提升双语（越南语-英语）性能？
• RQ4 在文化相关越南语数据上训练的基础模型，是否能展现出超越表面语言流利度的深层文化理解？
• RQ5 与其它开源越南语大语言模型相比，VinaLLaMA 在推理、指令遵循和零样本泛化方面表现如何？

主要发现

• VinaLLaMA-7B-chat 在所有主要越南语基准测试中均取得最先进成绩：VLSP、VMLU 和 Vicuna Benchmark 越南语。
• 在 Vicuna Benchmark（越南语）中，VinaLLaMA-7B-chat 在全部五个任务中得分为 4.000，与 GPT-4 表现相当，并超越其他开源模型。
• 在 HuggingFace OpenLLM Leaderboard 上，VinaLLaMA-7B-chat 平均得分为 0.5227，优于 LLaMA-2-7B-chat-hf（0.5074）及其他开源模型。
• 在 GSM8K 数学推理基准测试中，VinaLLaMA-7B-chat 在 5-shot 条件下得分为 0.3002，显著优于 LLaMA-2-7B-chat-hf（0.0735）及其他模型。
• 该模型展现出强大的双语能力，在主要英语基准测试中仍保持高水平性能，尽管其主要优化目标是越南语。
• VinaLLaMA-7B-chat 在数学推理方面甚至超越了经过强化学习优化的 LLaMA-2 变体，凸显了其合成数据与微调策略的有效性。

Figure 3: Our second stage of generating synthetic data for pretraining. Vietcuna-3B-v2 was deployed to save cost while maintaining the same performance with distillation from GPT-4