[논문 리뷰] FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation

Tu Vu, Mohit Iyyer외 9명|arXiv (Cornell University)|2023. 10. 05.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 빠르게 변화하는 세계 지식과 잘못된 전제 조건을 다룰 수 있는 LLM의 능력을 테스트하는 동적이고 진화하는 질의응답 벤치마크인 FreshQA를 소개한다. 본 논문은 최신 검색 결과를 검색하여 사실성을 향상시키는 Few-shot 인라인 학습 방법인 FreshPrompt를 제안하며, 엄격한 사실성 평가 하에 기존 GPT-4 대비 49.0%의 정확도 향상을 달성한다.

ABSTRACT

Most large language models (LLMs) are trained once and never updated; thus, they lack the ability to dynamically adapt to our ever-changing world. In this work, we perform a detailed study of the factuality of LLM-generated text in the context of answering questions that test current world knowledge. Specifically, we introduce FreshQA, a novel dynamic QA benchmark encompassing a diverse range of question and answer types, including questions that require fast-changing world knowledge as well as questions with false premises that need to be debunked. We benchmark a diverse array of both closed and open-source LLMs under a two-mode evaluation procedure that allows us to measure both correctness and hallucination. Through human evaluations involving more than 50K judgments, we shed light on limitations of these models and demonstrate significant room for improvement: for instance, all models (regardless of model size) struggle on questions that involve fast-changing knowledge and false premises. Motivated by these results, we present FreshPrompt, a simple few-shot prompting method that substantially boosts the performance of an LLM on FreshQA by incorporating relevant and up-to-date information retrieved from a search engine into the prompt. Our experiments show that FreshPrompt outperforms both competing search engine-augmented prompting methods such as Self-Ask (Press et al., 2022) as well as commercial systems such as Perplexity.AI. Further analysis of FreshPrompt reveals that both the number of retrieved evidences and their order play a key role in influencing the correctness of LLM-generated answers. Additionally, instructing the LLM to generate concise and direct answers helps reduce hallucination compared to encouraging more verbose answers. To facilitate future work, we release FreshQA at github.com/freshllms/freshqa and commit to updating it at regular intervals.

연구 동기 및 목표

• 실시간으로 변화하는 세계 지식 환경에서 대규모 언어 모델(LM)의 사실성을 평가하기 위해.
• 특히 빠르게 변화하는 지식과 잘못된 전제 조건에 대한 LLM의 지속적인 한계를 규명하기 위해.
• 검색 엔진을 활용하여 추론 시점에 지식을 동적으로 갱신할 수 있는 방법을 개발하기 위해.
• 지속 가능한, 정기적으로 업데이트되는 벤치마크를 구축하여 동적 LLM 평가 분야의 지속적 연구를 지원하기 위해.

제안 방법

• FreshQA는 600개의 개방형 질문으로 구성된 동적이고 인간이 애너테이션한 벤치마크로, 네 가지 유형으로 분류된다: 변화하지 않는 지식, 천천히 변화하는 지식, 빠르게 변화하는 지식, 잘못된 전제 조건.
• 두 가지 평가 프로토콜을 사용한다: '유연한'(Relaxed) 평가에서는 주요 답변의 정확성만 측정하며, '엄격한'(Strict) 평가에서는 응답 내 모든 진술의 사실성 정확도를 평가하여 환각 현상을 탐지한다.
• FreshPrompt는 Google Search에서 관련성 있고 최신의 증거를 검색하여 프롬프트에 통합함으로써 LLM의 사실성을 향상시키는 Few-shot 인라인 학습 방법이다.
• 이 방법은 검색된 결과물—관련 질문과 답변 상자 포함—을 Few-shot 예시로 활용하여 LLM이 최신 증거를 바탕으로 추론하도록 지도한다.
• 검색된 증거의 수와 순서가 정답 정확도에 상당한 영향을 미치며, 중간 수준의 검색 길이에서 최적의 성능을 기록한다.
• 이 방법은 학습이 필요 없으며 기존의 LLM과 완전히 호환되어 재학습 없이도 실시간으로 사실성 향상을 이끌 수 있다.

Figure 1: FreshQA exemplars. Our questions are broadly divided into four main categories based on the nature of the answer: never-changing , in which the answer almost never changes; slow-changing , in which the answer typically changes over the course of several years; fast-changing , in which the

실험 결과

연구 질문

• RQ1 현재의 LLM은 최신 세계 지식이 필요한 질문, 특히 빠르게 변화하거나 잘못된 전제 조건이 포함된 질문에서 어떻게 성능을 내는가?
• RQ2 모델 크기가 FreshQA와 같은 동적 지식 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ3 검색 엔진 기반의 프롬프팅이 LLM 생성 응답의 환각 현상을 현저히 줄일 수 있는가?
• RQ4 검색된 증거의 수와 순서와 같은 요소들이 LLM의 추론과 사실성 정확도에 어떻게 영향을 미치는가?
• RQ5 간단한 Few-shot 프롬프팅 방법이 더 복잡한 검색 기반 생성 또는 상용 시스템을 능가할 수 있는가?

주요 결과

• 모델 크기에 관계없이 모든 LLM이 빠르게 변화하는 지식과 잘못된 전제 조건을 포함한 질문에서 심각한 성능 저하를 보이며, 이는 동적 지식 적응 능력에 대한 체계적 한계를 시사한다.
• 기본 GPT-4는 엄격한 사실성 평가 모드에서 FreshQA에서 오직 51.0%의 정확도를 기록하며 광범위한 환각 현상을 보여준다.
• FreshPrompt는 Relaxed 설정 하에서 GPT-4의 정확도를 32.6% 향상시키며, Strict 설정 하에서는 49.0% 향상시켜 Self-Ask 및 Perplexity.AI를 모두 뛰어넘는다.
• 검색된 증거의 수와 순서는 핵심 요소이다: 중간 수준의 고품질 결과를 확보하고 적절한 순서로 정렬할 경우 최적의 성능을 달성한다.
• 요약적이고 직접적인 답변을 유도하면, 사실 증거가 존재하더라도 긴 응답보다 환각 현상이 줄어든다.
• FreshQA는 동적으로 유지 보수되며, 세계 사건의 변화에 따라 시간이 지남에 따라 답변가 재분류되므로 장기적인 관련성을 확보한다.

Figure 2: Accuracy of different LLMs on FreshQA under Relaxed and Strict (no hallucination) evaluations. Models benchmarked on the same date of April 26, 2023 . All models (regardless of model size) struggle on questions that involve fast-changing knowledge and false premises .