[論文レビュー] FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation

Tu Vu, Mohit Iyyer+9 more|arXiv (Cornell University)|Oct 5, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、急速に変化する世界の知識や誤った前提を扱う能力をテストする動的で進化する質疑応答ベンチマークであるFreshQAを紹介する。また、最新の検索結果を取得することで、LLMの事実性を向上させるfew-shotのコンテキスト内学習手法であるFreshPromptを提案し、vanilla GPT-4に比べて厳密な事実評価下で49.0%の精度向上を達成した。

ABSTRACT

Most large language models (LLMs) are trained once and never updated; thus, they lack the ability to dynamically adapt to our ever-changing world. In this work, we perform a detailed study of the factuality of LLM-generated text in the context of answering questions that test current world knowledge. Specifically, we introduce FreshQA, a novel dynamic QA benchmark encompassing a diverse range of question and answer types, including questions that require fast-changing world knowledge as well as questions with false premises that need to be debunked. We benchmark a diverse array of both closed and open-source LLMs under a two-mode evaluation procedure that allows us to measure both correctness and hallucination. Through human evaluations involving more than 50K judgments, we shed light on limitations of these models and demonstrate significant room for improvement: for instance, all models (regardless of model size) struggle on questions that involve fast-changing knowledge and false premises. Motivated by these results, we present FreshPrompt, a simple few-shot prompting method that substantially boosts the performance of an LLM on FreshQA by incorporating relevant and up-to-date information retrieved from a search engine into the prompt. Our experiments show that FreshPrompt outperforms both competing search engine-augmented prompting methods such as Self-Ask (Press et al., 2022) as well as commercial systems such as Perplexity.AI. Further analysis of FreshPrompt reveals that both the number of retrieved evidences and their order play a key role in influencing the correctness of LLM-generated answers. Additionally, instructing the LLM to generate concise and direct answers helps reduce hallucination compared to encouraging more verbose answers. To facilitate future work, we release FreshQA at github.com/freshllms/freshqa and commit to updating it at regular intervals.

研究の動機と目的

• リアルタイムで変化する世界の知識の状況において、大規模言語モデル（LLM）の事実性を評価すること。
• 特に急速に変化する知識や誤った前提に関する、LLMに根ざした持続的な制限を特定すること。
• 検索エンジンを用いて推論時に動的に知識を更新できる手法を開発すること。
• 継続的な研究を支援するための持続可能で定期的に更新されるベンチマークを構築すること。

提案手法

• FreshQAは、600件のオープンエンドの質問から構成され、人間がアノテートした動的で変化するベンチマークであり、4つのタイプに分類される：変化しない、ゆっくり変化する、急速に変化する、誤った前提。
• 2モードの評価プロトコルが用いられる：'緩い'評価では主な回答の正しさのみを測定するが、'厳密'評価では回答内のすべての主張の事実性を評価し、事実誤認（ホールーシュネーション）を検出する。
• FreshPromptは、Google検索から関連性の高い最新の証拠を取得し、それをプロンプトに組み込むことで、推論を支援するfew-shotのコンテキスト内学習手法である。
• この手法は、関連する質問や回答ボックスを含む検索結果を、LLMが新鮮な証拠に基づいて推論するのを教えるためのfew-shotの例示として使用する。
• 取得した証拠の数とその順序が、回答の正しさに顕著な影響を与えることが示され、最適なパフォーマンスは中程度の取得長さで達成される。
• このアプローチはトレーニングフリーであり、既存のLLMと完全に互換性があり、再トレーニングなしにリアルタイムでの事実性向上が可能である。

Figure 1: FreshQA exemplars. Our questions are broadly divided into four main categories based on the nature of the answer: never-changing , in which the answer almost never changes; slow-changing , in which the answer typically changes over the course of several years; fast-changing , in which the

実験結果

リサーチクエスチョン

• RQ1 現在のLLMは、最新の世界の知識を必要とする質問、特に急速に変化する知識や誤った前提を含む質問に対して、どの程度の性能を示すか？
• RQ2 モデルのサイズが、FreshQAのような動的知識ベンチマークでのパフォーマンスにどの程度向上をもたらすか？
• RQ3 検索エンジンを拡張したプロンプティングは、LLMが出力する回答における事実誤認を顕著に減少させることができるか？
• RQ4 取得した証拠の数や順序といった要因が、LLMの推論と事実性の正確性にどのように影響するか？
• RQ5 単純なfew-shotプロンプティング手法が、より複雑なリtrieval-augmented generationや商用システムを上回ることができるか？

主な発見

• モデルのサイズに関係なく、すべてのLLMが急速に変化する知識や誤った前提を含む質問において顕著な性能低下を示しており、動的知識適応における根本的な制限が存在することが示された。
• vanilla GPT-4は、厳密な事実評価モード下でFreshQAにおいてわずか51.0%の正確性にとどまり、広範なホールーシュネーションの問題が浮き彫りになった。
• FreshPromptは、'緩い'設定下でGPT-4の正確性を32.6%向上させ、'厳密'設定下では49.0%向上させ、Self-AskおよびPerplexity.AIを顕著に上回った。
• 取得した証拠の数と順序が極めて重要である：最適なパフォーマンスは、高品質な証拠を中程度の数で取得した場合に達成され、適切な順序付けが推論を向上させる。
• 事実の証拠が存在しても、簡潔で直接的な回答を促すことで、冗長な回答よりもホールーシュネーションが減少することがわかった。
• FreshQAは動的に維持・更新されており、世界の出来事の変化に伴い回答が再分類されるため、長期的なベンチマークの関連性が保証される。

Figure 2: Accuracy of different LLMs on FreshQA under Relaxed and Strict (no hallucination) evaluations. Models benchmarked on the same date of April 26, 2023 . All models (regardless of model size) struggle on questions that involve fast-changing knowledge and false premises .