[논문 리뷰] Ever: Mitigating Hallucination in Large Language Models through Real-Time Verification and Rectification

Haoqiang Kang, Juntong Ni외 1명|arXiv (Cornell University)|2023. 11. 15.

Topic Modeling인용 수 5

한 줄 요약

Ever는 대규모 언어 모델에서 단계별 텍스트 생성 중 내재적 및 외재적 환각을 실시간으로 탐지하고 수정하는 프레임워크로, 오류 전파를 크게 줄입니다. 개념 수준의 검증과 반복적 수정을 통합하여 요약형 질의응답, 생애사 작성, 다단계 추론 작업에서 사실성 향상을 이룹니다. 런타임 오버헤드가 최소한이면서도 검색 기반 및 비검색 기반 베이스라인을 모두 능가합니다.

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable proficiency in generating fluent text. However, they often encounter the challenge of generating inaccurate or hallucinated content. This issue is common in both non-retrieval-based generation and retrieval-augmented generation approaches, and existing post-hoc rectification methods may not address the accumulated hallucination errors that may be caused by the "snowballing" issue, especially in reasoning tasks. To tackle these challenges, we introduce a novel approach called Real-time Verification and Rectification (Ever). Instead of waiting until the end of the generation process to rectify hallucinations, Ever employs a real-time, step-wise generation and hallucination rectification strategy. The primary objective is to detect and rectify hallucinations as they occur during the text generation process. When compared to both retrieval-based and non-retrieval-based baselines, Ever demonstrates a significant improvement in generating trustworthy and factually accurate text across a diverse range of tasks, including short-form QA, biography generation, and multi-hop reasoning.

연구 동기 및 목표

• 시퀀셜 생성 과정에서 초기 오류가 누적되는 '눈덩이 효과'로 인한 지속적인 환각 문제를 해결하기 위해.
• 기준과 모순되는 내재적 환각과 검증 불가능하거나 허위의 정보를 포함하는 외재적 환각을 텍스트 생성 중에 줄이기 위해.
• 최종 출력이 생성되기 전 오류가 축적되지 않도록 실시간으로 단계별 검증 및 수정 메커니즘을 개발하기 위해.
• 유저 경고를 통해 잔류하는 외재적 환각을 식별하여 LLM 출력의 신뢰성을 높이기 위해.
• 모델 파인튜닝 없이도 기존의 검색 증강 생성(RAG) 파이프라인과 호환 가능하도록 보장하기 위해.

제안 방법

• Ever는 생성, 검증, 수정의 세 단계로 구성된 파이프라인을 문장 단위로 반복적으로 적용합니다.
• 검증 단계에서 모델은 각 문장의 개념 수준 정확성을 점검하며, 소수 예시 또는 제로샷 프롬프팅을 사용해 내재적 환각과 외재적 환각을 구분합니다.
• 수정 단계에서는 환각 유형에 따라 오류를 수정하고, 수정된 문장을 다시 검증하여 정확성을 확보합니다.
• 프레임워크는 비검색 및 검색 증강 생성 모두를 지원하며, 가용한 외부 지식을 통합합니다.
• 지속적인 외재적 환각은 사용자 경고로 표시되어 출력의 신뢰성을 향상시킵니다.
• 간단하고 병렬 처리 가능한 프롬프트와 최소한의 계산 오버헤드를 통해 효율성을 유지하며, 베이스라인 검색 방법과 유사한 수준입니다.

실험 결과

연구 질문

• RQ1 실시간 검증 및 수정이 후행 검증 또는 사전 생성 방법보다 대규모 언어 모델의 환각을 더 효과적으로 줄일 수 있는가?
• RQ2 Ever는 순차적 추론 및 장문 생성에서 환각의 '눈덩이 효과'를 어떻게 완화하는가?
• RQ3 Ever는 요약형 질의응답, 생애사 작성, 다단계 추론과 같은 다양한 작업에서 사실 일관성을 얼마나 향상시킬 수 있는가?
• RQ4 Factuality와 런타임 측면에서 Ever의 성능은 최신 기술 기반의 검색 기반 및 비검색 기반 베이스라인과 비교해 어떻게 되는가?
• RQ5 Ever는 모델 파인튜닝 없이도 기존의 RAG 프레임워크와 효과적으로 통합될 수 있는가?

주요 결과

• Ever는 요약형 질의응답, 장문 생애사 작성, 다단계 추론을 포함한 모든 평가 작업에서 환각을 크게 줄였으며, 검색 기반 및 비검색 기반 베이스라인을 모두 능가합니다.
• Ever 버전의 런타임(예: RAG+ER)은 베이스라인과 유사하며, GPT-3.5 Turbo를 사용한 생애사 작업의 평균 추론 시간은 115.4초, HotpotQA 작업은 62.8초입니다.
• Ever(nrg+er) 버전은 생애사 작성에서 평균 141.8초의 런타임을 기록했으며, 실시간 검증 및 수정에도 불구하고 효율성을 확보했습니다.
• 생애사 작성 작업에서 Ever는 잘못 분류된 예시를 11%로 줄였으며, 강력한 사실 일관성을 보였습니다.
• 각 단계에서 오류를 탐지하고 수정함으로써 '눈덩이 효과'를 효과적으로 완화하여 누적 오류 전파를 방지합니다.
• 지속적인 외재적 환각에 대한 사용자 경고는 사용자가 검증 불가능한 주장일 수 있음을 경고함으로써 신뢰성을 향상시킵니다.