[논문 리뷰] Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models

Miaoran Li, Baolin Peng외 3명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 4

한 줄 요약

Self-Checker는 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 zero-shot 사실 확인을 가능하게 하는 플러그 앤 플레이 프레임워크이다. 이는 주장 처리, 쿼리 생성, 증거 검색, 결론 예측의 네 가지 프롬프팅 기반 모듈을 통해 작동한다. 실증 결과에 따르면 WiCE 및 Fever 데이터셋에서 경쟁적인 성능를 보였지만, 미세조정된 최신 기술(SOTA) 모델에 비해 뒤처지는 모습을 보이며, LLM 프롬프팅 기반 사실 확인의 잠재력과 현재의 한계를 드러낸다.

ABSTRACT

Fact-checking is an essential task in NLP that is commonly utilized for validating the factual accuracy of claims. Prior work has mainly focused on fine-tuning pre-trained languages models on specific datasets, which can be computationally intensive and time-consuming. With the rapid development of large language models (LLMs), such as ChatGPT and GPT-3, researchers are now exploring their in-context learning capabilities for a wide range of tasks. In this paper, we aim to assess the capacity of LLMs for fact-checking by introducing Self-Checker, a framework comprising a set of plug-and-play modules that facilitate fact-checking by purely prompting LLMs in an almost zero-shot setting. This framework provides a fast and efficient way to construct fact-checking systems in low-resource environments. Empirical results demonstrate the potential of Self-Checker in utilizing LLMs for fact-checking. However, there is still significant room for improvement compared to SOTA fine-tuned models, which suggests that LLM adoption could be a promising approach for future fact-checking research.

연구 동기 및 목표

• 모델 미세조정 없이도 훈련이 필요 없는 효율적인 사실 확인 시스템을 개발하는 것.
• 생성된 주장에 대한 외부 증거를 통한 자동 검증을 통해 LLM의 환각 현상 문제를 해결하는 것.
• 모듈화되고 프롬프팅 기반의 구성 요소를 통해 자원이 제한된 환경나 새로운 도메인 환경에서도 빠른 배포를 가능하게 하는 것.
• 미세조정된 SOTA 모델과 비교하여 순수하게 프롬프팅 기반의 LLM이 사실 확인에 얼마나 효과적인지 평가하는 것.
• LLM을 사용한 검증 시 사실 확인 파이프라인에서의 주요 병목 현상을 특정하는 것.

제안 방법

• 사용자 제공 예시를 포함한 프롬프팅을 통해 주장 처리 모듈을 활용해 복잡한 주장을 더 단순하고 검증 가능한 부분 주장으로 분해한다.
• 각 부분 주장을 위해 타겟팅된 검색 쿼리를 생성하는 쿼리 생성 모듈을 사용하여 위키피디아와 같은 지식 소스에서 검색을 수행한다.
• LLM 프롬프팅을 활용해 검색된 문서에서 관련 증거 문장을 추출하는 증거 탐색 모듈을 운영한다.
• 추출된 증거를 바탕으로 주장의 진실성 여부를 평가하고 여러 주장에 걸쳐 결과를 집계하는 결론 상담 모듈을 사용한다.
• 작업 지시사항과 예시를 기반으로 모듈 간 워크플로우를 조율하는 정책 에이전트를 통합한다.
• 모델 미세조정 없이도 프롬프팅과 예시 기반의 컨텍스트 학습에 의존함으로써 거의 zero-shot 설정에서 작동한다.

Figure 1: Self-Checker assesses the veracity of LLM generated response by (1) extracting simple claims for verification from the input text, (2) generating search query for each claim to retrieve related documents, (3) selecting evidence sentences from retrieved documents, and (4) predicting the fin

실험 결과

연구 질문

• RQ1 LLM을 미세조정 없이도 프롬프팅과 컨텍스트 학습만으로 사실 확인에 효과적으로 활용할 수 있는가?
• RQ2 순수하게 프롬프팅 기반의 사실 확인 시스템은 최신 기술(SOTA) 미세조정 모델과 비교해 어떻게 성능를 보이는가?
• RQ3 LLM을 사용한 검증 시 사실 확인 파이프라인에서 주된 병목 요소는 무엇인가?
• RQ4 주장 분해가 LLM 기반 사실 확인 시스템에서 증거 검색과 결론 예측에 얼마나 기여하는가?
• RQ5 Self-Checker의 모듈화되고 플러그 앤 플레이된 설계는 자원 요구량을 최소화하면서도 새로운 도메인에 효과적으로 적응할 수 있는가?

주요 결과

• Self-Checker는 모델 미세조정 없이도 zero-shot 사실 확인에서 강력한 잠재력을 보이며, WiCE 및 Fever 데이터셋 모두에서 합리적인 성능를 기록했다.
• 결론 상담 모듈이 파이프라인에서 주요 병목 요소로 규명되었으며, 이는 LLM 기반 시스템에서 주장 검증이 여전히 핵심 과제임을 시사한다.
• 증거 검색 성능은 주요 제약 요소가 아니며, 증거 탐색 모듈의 향상이 전체 성능 향상에 크게 기여하지는 않았다.
• 주장 분해는 증거 검색과 결론 예측 모두에 기여하며, 이는 이전 연구 결과와 일치하며 시스템의 전체 정확도를 향상시킨다.
• 효율성과 적응 가능성은 높지만, Self-Checker의 성능는 여전히 SOTA 미세조정 모델에 뒤져 있어, LLM 프롬프팅 전략의 최적화 여지가 있음을 시사한다.
• 이 프레임워크는 자원이 제한된 환경에서의 빠른 배포를 가능하게 하며, 모듈화되고 프롬프팅 기반의 설계 덕분에 새로운 데이터나 도메인의 쉽게 통합이 가능하다.

Figure 2: Overview of Self-Checker . The framework consists of four plug-and-play modules: (1) claim processor, (2) query generator, (3) evidence seeker, and (4) verdict counselor.