[論文レビュー] RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture

Angels de Luis Balaguer, Vinamra Benara+14 more|arXiv (Cornell University)|Jan 16, 2024

Topic Modeling被引用数 50

ひとこと要約

本論文は、大規模言語モデルにおける Retrieval-Augmented Generation (RAG) とファインチューニングのパイプラインを比較し、詳細な農業ケーススタディを提示し、RAGとファインチューニングを組み合わせた場合の精度向上が加算的であることを報告します。

ABSTRACT

There are two common ways in which developers are incorporating proprietary and domain-specific data when building applications of Large Language Models (LLMs): Retrieval-Augmented Generation (RAG) and Fine-Tuning. RAG augments the prompt with the external data, while fine-Tuning incorporates the additional knowledge into the model itself. However, the pros and cons of both approaches are not well understood. In this paper, we propose a pipeline for fine-tuning and RAG, and present the tradeoffs of both for multiple popular LLMs, including Llama2-13B, GPT-3.5, and GPT-4. Our pipeline consists of multiple stages, including extracting information from PDFs, generating questions and answers, using them for fine-tuning, and leveraging GPT-4 for evaluating the results. We propose metrics to assess the performance of different stages of the RAG and fine-Tuning pipeline. We conduct an in-depth study on an agricultural dataset. Agriculture as an industry has not seen much penetration of AI, and we study a potentially disruptive application - what if we could provide location-specific insights to a farmer? Our results show the effectiveness of our dataset generation pipeline in capturing geographic-specific knowledge, and the quantitative and qualitative benefits of RAG and fine-tuning. We see an accuracy increase of over 6 p.p. when fine-tuning the model and this is cumulative with RAG, which increases accuracy by 5 p.p. further. In one particular experiment, we also demonstrate that the fine-tuned model leverages information from across geographies to answer specific questions, increasing answer similarity from 47% to 72%. Overall, the results point to how systems built using LLMs can be adapted to respond and incorporate knowledge across a dimension that is critical for a specific industry, paving the way for further applications of LLMs in other industrial domains.

研究の動機と目的

• RAGまたはファインチューニングを用いて、ドメイン固有データをLLMに統合する動機づけを行う。
• ドメイン知識のためのマルチステージ・パイプライン（データ抽出、Q&A生成、RAG、ファインチューニング）の開発と評価。
• 農業分野におけるモデル（Llama2-13B、GPT-3.5、GPT-4）間のトレードオフ、コスト、性能を定量化。
• 地理特有の知識キャプチャと回答の局在化の改善を実証。
• ドメインデータに基づく産業コパイロットの構築に向けた実践的ガイダンスを提供。

提案手法

• データ取得、PDF情報抽出、Q&A生成、RAGベースの回答生成、モデルファインチューニングを含むマルチステージ・パイプラインを提案。
• GROBIDを用いてPDFを構造化TEI/JSONに変換し、文書構造をグラウンディングのために保持。
• 入力/出力構造とグラウンディング文脈を制御するGuidanceフレームワークを用いてQ&Aを生成。
• 埋め込みベースの検索（sentence transformers + FAISS）とGPT-4を用いたRAGを適用し、回答を統合。
• LoRAとFSDPベースの訓練を用いて8x A100 GPU上で複数モデル（Llama2-13B、GPT-4）をファインチューニング。混合精度とコサイン学習率スケジュールを使用。
• GPT-4ベースの指標スイートで評価し、ドメインや地理（geographies）を跨いでRAGとファインチューニングを比較。

実験結果

リサーチクエスチョン

• RQ1 業界特有の農業質問に対するLLM性能向上において、RAGとファインチューニングはどのように比較されるか？
• RQ2 地理的にスコープされたファインチューニングが地理特有の知識の正確さに与える影響は？
• RQ3 大規模モデル（例：GPT-4）のファインチューニングとRAG単独または組み合わせての使用のコストと性能のトレードオフは？
• RQ4 地理認識型Q&Aパイプラインは回答の特異性と地理間知識移転を改善できるか？
• RQ5 農業Q&AにおけるRAGおよび/またはファインチューニングを用いた場合、異なるベースモデル（Llama2-13B、GPT-4、Vicuna）はどのように性能を示すか？

主な発見

• ファインチューニングにより精度が6ポイント超の向上（p.p.）を達成。
• ファインチューニングと組み合わせた場合、RAGは追加で5 p.p.の精度向上をもたらす。
• ファインチューニング済みモデルは地理跨ぎ情報を活用して回答の類似度を47%から72%に引き上げられる。
• GPT-4は一貫して他のモデルを上回るが、ファインチューニングと推論コストは大きい。
• RAGはデータが文脈的に関連する場合（例：農場データ）に効果的で、基礎モデルよりも簡潔な回答を出す傾向がある。
• 本研究は、Q&A生成からモデルファインチューニングまで、ドメイン固有のAIコパイロットを作成する実践的で産業重視のパイプラインを示している。