[论文解读] Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations

Mathav Raj J, Kushala VM+2 more|arXiv (Cornell University)|Mar 23, 2024

Metallurgy and Material Forming被引用 30

一句话总结

本论文为在专有文档和代码上使用 PEFT 方法（LoRA/QLoRA）、量化和自定义数据预处理，对 LLaMA 进行微调提供实用指南，并进行经验评估与 RAG 比较。

ABSTRACT

There is a compelling necessity from enterprises for fine tuning LLMs (Large Language Models) o get them trained on proprietary domain knowledge. The challenge is to imbibe the LLMs with domain specific knowledge using the most optimial resource and cost and in the best possible time. Many enterprises rely on RAG (Retrieval Augmented Generation) which does not need LLMs to be ine-tuned but they are limited by the quality of vector databases and their retrieval capabilities rather than the intrinsic capabilities of the LLMs themselves. In our current work we focus on fine tuning LLaMA, an open source LLM using proprietary documents and code from an enterprise repository and use the fine tuned models to evaluate the quality of responses. As part of this work, we aim to guide beginners on how to start with fine tuning an LLM for documentation and code by making educated guesses on size of GPU required and options that are available for formatting the data. We also propose pre processing recipes for both documentation and code to prepare dataset in different formats. The proposed methods of data preparation for document datasets are forming paragraph chunks, forming question and answer pairs and forming keyword and paragraph chunk pairs. For code dataset we propose forming summary and function pairs. Further, we qualitatively evaluate the results of the models for domain specific queries. Finally, we also propose practical guidelines and recommendations for fine tuning LLMs.

研究动机与目标

• 推动企业在领域特定数据上对 LLM 进行微调，以提升准确性并降低延迟和隐私风险。
• 为初学者提供文本和代码微调的数据准备、计算估算和数据集格式的指南。
• 评估量化、梯度累积和 PEFT（LoRA/QLoRA）对资源消耗和性能的影响。
• 为企业环境中的 LLM 微调提供可操作的建议和工作流程。

提出的方法

• 讨论影响在现有硬件上微调的因素，包括内存与计算权衡。
• 描述文本和代码数据集的数据预处理方案，以创建指令调优格式。
• 解释 PEFT 技术（LoRA 和 QLoRA）及其在不同模型规模下的参数高效性优势。
• 给出工作流：数据预处理、PEFT 设置、直至损失最小化的微调，以及在 RAG 流水线中的评估。
• 使用 LLaMA 2 在专有文档和代码语料库上进行经验性实验，以研究量化、LoRA rank/alpha，以及完整微调的可行性。

Figure 1: Fine tuning Workflow (with LLaMA model as an example)

实验结果

研究问题

• RQ1 量化、PEFT 方法（LoRA/QLoRA）和梯度累积如何影响企业规模 LLM 的微调效率和内存使用？
• RQ2 文本和代码的哪些数据预处理格式在指令调优的 LLaMA 模型中可获得最佳领域特定性能？
• RQ3 微调如何影响基于 RAG 的检索质量以及在企业文档和代码上的幻觉倾向？
• RQ4 在固定硬件资源条件下，选择模型大小、数据集大小和训练配置的实际指南是什么？

主要发现

• 量化（例如 8 位）使 GPU 内存约降低 71%，并能实现更大的批量大小，但在微调期间推理时间会更长。
• LoRA/QLoRA 使参数高效微调成为可能，在内存有限的条件下对大型模型进行微调，在高端 GPU 上对较小的尺寸仍然可以完成对整个模型的微调。
• 数据预处理选择（原始、关键词、标题和基于摘要的格式）会产生不同的响应质量，某些格式在不同任务中能给出更简洁或更详细的答案。
• 在 RAG 流水线中，微调模型提供更准确且文档化、分步式的回答，与基础预训练模型相比减少幻觉。
• 以代码为重点的微调在合适调整的 LoRA rank 和 alpha 时显示出显著收益，而过高的 rank/alpha 可能导致生成代码时出现幻觉。

Figure 2: Inference time of fine tuned Llama 2 7B Chat model