[論文レビュー] Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations

Mathav Raj J, Kushala VM+2 more|arXiv (Cornell University)|Mar 23, 2024

Metallurgy and Material Forming被引用数 30

ひとこと要約

本論文は、PEFT手法（LoRA/QLoRA）、量子化、そして独自データ前処理を用いて、企業が保有する文書とコードに対するLLaMAのファインチューニングに関する実用的なガイドラインを提供し、実証的評価とRAG比較を行う。

ABSTRACT

There is a compelling necessity from enterprises for fine tuning LLMs (Large Language Models) o get them trained on proprietary domain knowledge. The challenge is to imbibe the LLMs with domain specific knowledge using the most optimial resource and cost and in the best possible time. Many enterprises rely on RAG (Retrieval Augmented Generation) which does not need LLMs to be ine-tuned but they are limited by the quality of vector databases and their retrieval capabilities rather than the intrinsic capabilities of the LLMs themselves. In our current work we focus on fine tuning LLaMA, an open source LLM using proprietary documents and code from an enterprise repository and use the fine tuned models to evaluate the quality of responses. As part of this work, we aim to guide beginners on how to start with fine tuning an LLM for documentation and code by making educated guesses on size of GPU required and options that are available for formatting the data. We also propose pre processing recipes for both documentation and code to prepare dataset in different formats. The proposed methods of data preparation for document datasets are forming paragraph chunks, forming question and answer pairs and forming keyword and paragraph chunk pairs. For code dataset we propose forming summary and function pairs. Further, we qualitatively evaluate the results of the models for domain specific queries. Finally, we also propose practical guidelines and recommendations for fine tuning LLMs.

研究の動機と目的

• 企業がドメイン特化データでLLMsをファインチューニングする動機づけを行い、精度向上と待機時間の短縮、プライバシー懸念の低減を図る。
• テキストとコードのファインチューニングのためのデータ準備、計算リソース見積もり、データセット形式について初学者をガイドする。
• 量子化、勾配蓄積、PEFT（LoRA/QLoRA）がリソース使用と性能に与える影響を評価する。
• 企業環境におけるLLMのファインチューニングに関する実用的な推奨事項とワークフローを提供する。

提案手法

• メモリと計算資源のトレードオフを含む、利用可能なハードウェアでのファインチューニングに影響を与える要因を検討する。
• テキストおよびコードデータセットのデータ前処理レシピを説明し、指示調整形式を作成する。
• PEFT技術（LoRAおよびQLoRA）と、異なるモデルサイズにおけるパラメータ効率の利点を説明する。
• ワークフローを提示する：データ前処理、PEFT設定、損失最小化までのファインチューニング、RAGパイプラインでの評価。
• 独自の文書およびコードコーパスでLLaMA 2を用いた実証実験を実施し、量子化、LoRAのランク/アルファ、全体的なファインチューニングの実現性を検討する。

Figure 1: Fine tuning Workflow (with LLaMA model as an example)

実験結果

リサーチクエスチョン

• RQ1 企業規模のLLMにおいて、量子化、PEFT手法（LoRA/QLoRA）、および勾配蓄積がファインチューニングの効率とメモリ使用量にどう影響するか？
• RQ2 テキストとコードのデータ前処理フォーマットのうち、指示調整されたLLaMAモデルで最もドメイン固有の性能を引き出すのはどれか？
• RQ3 ファインチューニングがRAGベースの検索品質と、企業の文書やコードにおける幻覚の傾向にどう影響するか？
• RQ4 固定されたハードウェア資源を前提とした場合、モデルサイズ、データセットサイズ、訓練設定を選択するための実践的なガイドラインは何か？

主な発見

• 量子化（例：8ビット）はGPUメモリを約71%削減し、より大きなバッチサイズを可能にするが、ファインチューニング時の推論時間が長くなる。
• LoRA/QLoRAはパラメータ効率の高いファインチューニングを可能にし、限られたメモリで大規模モデルのファインチューニングを可能にする。一方で小型サイズでは高性能GPU上で完全なモデルファインチューニングも実現可能。
• データ前処理の選択肢（生データ、キーワード、見出し、要約ベースの形式）は異なる応答品質をもたらし、タスクに応じてより要約的または詳細な回答を生む形式もある。
• RAGパイプラインでは、ファインチューニング済みモデルはより正確で文書スタイルの段階的な応答を提供し、事前学習済みモデルと比べて幻覚を減らす。
• コード中心のファインチューニングは、適切に調整されたLoRAのランクとアルファで大きな成果を示す一方で、過度のランク/アルファは生成コードの幻覚を招く可能性がある。

Figure 2: Inference time of fine tuned Llama 2 7B Chat model