Skip to main content
QUICK REVIEW

[논문 리뷰] Chain-of-Verification Reduces Hallucination in Large Language Models

Shehzaad Dhuliawala, Mojtaba Komeili|arXiv (Cornell University)|2023. 09. 20.
Topic ModelingComputer Science인용 수 39
한 줄 요약

CoVe는 기본 LLM에 응답을 초안하고, 검증 질문을 계획하고, 이를 독립적으로 답변한 뒤, 최종 검증된 응답을 생성하도록 지시하여 작업 전반에서의 망상을 줄인다.

ABSTRACT

Generation of plausible yet incorrect factual information, termed hallucination, is an unsolved issue in large language models. We study the ability of language models to deliberate on the responses they give in order to correct their mistakes. We develop the Chain-of-Verification (CoVe) method whereby the model first (i) drafts an initial response; then (ii) plans verification questions to fact-check its draft; (iii) answers those questions independently so the answers are not biased by other responses; and (iv) generates its final verified response. In experiments, we show CoVe decreases hallucinations across a variety of tasks, from list-based questions from Wikidata, closed book MultiSpanQA and longform text generation.

연구 동기 및 목표

  • 대형 언어 모델에서의 망상 문제를 동기 부여하고 다양한 작업에서 이를 정량화한다.
  • 의도적 자가 검증을 통해 망상을 완화하기 위한 Chain-of-Verification(CoVe)을 도입한다.
  • 검증 질문 계획과 독립적인 응답이 사실 정확도를 향상시킨다는 것을 입증한다.
  • 작업 전반에 걸쳐 공동형, 이단계, 요인화된 검증 전략을 비교한다.

제안 방법

  • Baseline LLM (Llama 65B) 는 검증 없이 초기 응답을 생성한다.
  • CoVe는 기본 응답에 조건화된 검증 계획을 생성한다.
  • 각 검증 질문에 답함으로써 검증을 실행한다(공동형, 2단계, 요인화, 또는 요인+재수정 변형).
  • 검증 결과를 반영한 최종 검증 응답을 생성한다.
  • 요청된 변형을 조사하여 검증 질문이 원래 기본 응답을 참조하지 않고 반복을 피하도록 한다.
  • 다음 작업으로 평가: Wikidata 리스트 질문, Wiki-Category 목록, MultiSpanQA 폐쇄형 문제, 장문 전기; 기준선 및 지시어 튜닝 모델과 비교한다.

실험 결과

연구 질문

  • RQ1CoVe가 서로 다른 작업 유형에서 망상을 감소시키는가?
  • RQ2CoVe가 올바른 내용을 해치지 않고 사실 정확도를 향상시킬 수 있는가?
  • RQ3어떤 검증 실행 변형이 가장 큰 정확도 향상을 가져오는가?
  • RQ4검증 계획의 질이 전체 성능에 미치는 영향은 무엇인가?

주요 결과

  • CoVe는 Wikidata 리스트 기반 작업에서 정확도를 증가시킨다(기초 0.17에서 CoVe로 0.36).
  • 망상 수(부정)가 Wikidata 작업에서 CoVe를 사용하면 2.95에서 0.68로 감소한다.
  • CoVe는 폐쇄형 MultiSpanQA의 F1을 0.39(적은 샷 기초)에서 변형에 따라 0.46~0.48로 향상시킨다.
  • 장문 전기의 FactScore는 55.9(적은 샷 기초)에서 factor+revise 추론으로 71.4로 증가한다.
  • 요인화된 및 2단계 CoVe 변형이 작업 전반에서 공동 CoVe보다 우수하다.
  • 일부 설정에서 FactScore 기준으로 장문 생성에서 InstructGPT, ChatGPT, 그리고 PerplexityAI를 능가하는 등, 여러 지침 조정 또는 조회 보강 모델보다 우수하다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.