[論文レビュー] Should We Fine-Tune or RAG? Evaluating Different Techniques to Adapt LLMs for Dialogue

Simone Alghisi, Massimo Rizzoli+3 more|arXiv (Cornell University)|Jun 10, 2024

Speech and dialogue systems被引用数 4

ひとこと要約

本稿では、Llama2 ChatおよびMistral Instructを用いて、リtrieval増強生成（RAG）を用いたファインチューニングとインライン・ラーニングを、4種類の対話タイプ—オープンドメイン、知識に基づく、タスク指向型、質問応答—に対して評価している。結果として、万能な最良手法は存在しないことが示され、性能はベースモデルおよび対話タイプに依存する。自動評価指標に欺かれないためにも、人間による評価が不可欠である。

ABSTRACT

We study the limitations of Large Language Models (LLMs) for the task of response generation in human-machine dialogue. Several techniques have been proposed in the literature for different dialogue types (e.g., Open-Domain). However, the evaluations of these techniques have been limited in terms of base LLMs, dialogue types and evaluation metrics. In this work, we extensively analyze different LLM adaptation techniques when applied to different dialogue types. We have selected two base LLMs, Llama-2 and Mistral, and four dialogue types Open-Domain, Knowledge-Grounded, Task-Oriented, and Question Answering. We evaluate the performance of in-context learning and fine-tuning techniques across datasets selected for each dialogue type. We assess the impact of incorporating external knowledge to ground the generation in both scenarios of Retrieval-Augmented Generation (RAG) and gold knowledge. We adopt consistent evaluation and explainability criteria for automatic metrics and human evaluation protocols. Our analysis shows that there is no universal best-technique for adapting large language models as the efficacy of each technique depends on both the base LLM and the specific type of dialogue. Last but not least, the assessment of the best adaptation technique should include human evaluation to avoid false expectations and outcomes derived from automatic metrics.

研究の動機と目的

• 一貫したメトリクスとプロトコルを用いて、複数の対話タイプにおけるファインチューニングとインライン・ラーニングを体系的に評価すること。
• 外部知識（RAGによる検索済みのものとゴールドスタンダードのもの）が応答生成品質に与える影響を評価すること。
• Llama2 ChatとMistral Instructの2つのベースLLM間でのパフォーマンスを比較すること。
• 自動メトリクスの限界を明らかにし、人間評価との乖離を示唆すること。
• 統合勾配を用いた説明可能性を提供し、応答生成における入力トークンの寄与度を分析すること。

提案手法

• オープンドメイン、知識に基づく、タスク指向型、質問応答の4つの対話データセットに対して、Llama2 ChatおよびMistral Instructをファインチューニングした。
• モデルパラメータの更新なしに、少数の例（few-shot）を用いたインライン・ラーニングを適用した。
• 上位3件の関連知識パラグラフを検索して、応答を根拠づけるためにリトリーブ増強生成（RAG）を統合した。
• 検索品質とモデルパフォーマンスの評価のため、ゴールド知識（真値）を強力なベースラインとして用いた。
• 自動メトリクス（BLEU-4、KF1、ROUGE-L）と、正しさ、適切さ、妥当性を評価する標準化された人間評価プロトコルを採用した。
• 入力トークンの寄与度を付与し、生成エラーを分析するために、統合勾配を適用した。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングとインライン・ラーニングのどちらの適応手法が、異なる対話タイプにおいて優れた応答品質をもたらすか？
• RQ2 検索済みの外部知識またはゴールド外部知識の含め方が、各対話タイプにおけるモデルパフォーマンスにどのように影響するか？
• RQ3 自動メトリクスが、対話応答品質を評価するにあたり、人間の判断とどの程度一致するか？
• RQ4 同じ適応手法と対話タスクにおいて、異なるベースLLM（Llama2 ChatとMistral Instruct）はどのようにパフォーマンスを示すか？
• RQ5 LLM生成応答における主な誤りパターンは何か。また、入力寄与度分析により、それらの誤りはどのように説明できるか？

主な発見

• ファインチューニングは、3つの対話タイプ（KGD、TOD、QA）でインライン・ラーニングを上回り、ゴールド知識を用いた際のF1値およびBLEU-4スコアが最も高かった。
• タスク指向型対話では、ファインチューニングモデルがゴールド知識を用いて45.49のKF1を達成したのに対し、インライン・ラーニングは28.79にとどまり、有意に劣っていた。
• オープンドメイン対話では、外部知識なしのインライン・ラーニングが正答率95％を達成した一方、ファインチューニングは65％に低下しており、タスク依存のモデル行動が顕著に現れた。
• 検索済みの知識を用いたRAGは、ほとんどのケースで外部知識なしに比べてパフォーマンスを向上させたが、リCALLは低く（例：KGDのパラグラフ検索で69％）、向上幅が限定的だった。
• 人間評価により、ROUGE-Lなどの自動メトリクスが誤解を招くことが判明した。インライン・ラーニングはより長く詳細な応答を生成したが、基準忤が短いためスコアが低かった。
• ゴールド知識は、モデルや対話タイプを問わず一貫してパフォーマンスを向上させ、ファインチューニング済みMistral Instructはゴールド知識を用いたQAで正答率85％を達成した。