[논문 리뷰] Complex Claim Verification with Evidence Retrieved in the Wild

Jifan Chen, Grace Kim외 3명|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 주장이 발표되기 이전에 웹에서 확보한 원시 증거를 활용하여 복잡한 정치적 주장을 완전히 자동화된 파이프라인으로 검증하는 데 있어 최초의 시도를 제시한다. 이는 주장을 분해하고, 다단계 검색을 수행하며, LLM 기반 요약을 활용한다. 기존의 기준 대비 더 나은 진실성 분류 성능을 보이며, 실제 환경에서 증거 커버리지가 불완전하더라도 인간이 애너테이션한 요약이 사실에 충실하고 관련성이 있음을 보여준다.

ABSTRACT

Evidence retrieval is a core part of automatic fact-checking. Prior work makes simplifying assumptions in retrieval that depart from real-world use cases: either no access to evidence, access to evidence curated by a human fact-checker, or access to evidence available long after the claim has been made. In this work, we present the first fully automated pipeline to check real-world claims by retrieving raw evidence from the web. We restrict our retriever to only search documents available prior to the claim's making, modeling the realistic scenario where an emerging claim needs to be checked. Our pipeline includes five components: claim decomposition, raw document retrieval, fine-grained evidence retrieval, claim-focused summarization, and veracity judgment. We conduct experiments on complex political claims in the ClaimDecomp dataset and show that the aggregated evidence produced by our pipeline improves veracity judgments. Human evaluation finds the evidence summary produced by our system is reliable (it does not hallucinate information) and relevant to answering key questions about a claim, suggesting that it can assist fact-checkers even when it cannot surface a complete evidence set.

연구 동기 및 목표

• 주장이 제기되기 이전에 웹에서 실제 세계의 증거를 확보함으로써 자동 사실 확인의 격차를 메우기 위해, 사실 확인 웹사이트나 정제된 데이터베이스에 의존하지 않는 방식으로 접근한다.
• 주장이 발표된 이후가 아닌, 주장 이전에 발행된 문서에만 증거를 검색하는 제약 조건을 두어 실제 사실 확인 워크플로우를 모방하는 완전 자동화된 파이프라인을 개발한다.
• 확보된 증거에서 생성된 주장 중심 요약의 신뢰성과 관련성을 평가하며, 특히 완전한 증거가 확보되지 않은 경우에도 적용 가능하다.
• 복잡하고 다면적인 정치적 주장을 위해 주장 분해 기법이 증거 검색 품질을 향상시키는 데 얼마나 효과적인지 조사한다.
• 사전에 자동화된 결과가 부족할 경우 반복적으로 개선할 수 있는 인간-기계 협업 시스템을 제안하고, 증거 검색의 주요 실패 원인을 규명한다.

제안 방법

• 복잡한 정치적 주장을 다수의 예/아니요 형식의 하위질문으로 분해하여 검색 정밀도를 높이고 암시된 측면을 모두 포함한다.
• 각 하위질문에 대해 사전에 주장이 발표된 날짜 이전에 발행된 문서만을 대상으로 한 상용 검색 엔진(Bing)을 사용해 관련 문서를 검색한다.
• 첫 번째 단계에서 확보된 문서들 중에서 가장 관련성이 높은 문단을 추출하기 위해 두 번째 단계의 세밀한 검색 모델을 적용한다.
• 확보된 증거를 기반으로 최신 LLM을 사용해 주장 중심의 요약을 생성하여 진실성 판단을 지원한다.
• 생성된 요약을 기반으로 진실성 분류기를 훈련시켜 주장의 진실성을 예측하고, 전문 사실 확인가의 레이블과 비교한다.
• 요약의 사실에 충실함과 종합성 여부를 평가하기 위해 인간 평가를 수행하며, 환상 생성 여부 및 주장 요소와의 관련성 등의 기준을 사용한다.

실험 결과

연구 질문

• RQ1 사전 발표 웹 증거를 활용하여 복잡한 정치적 주장을 검증하기 위한 완전 자동화된 파이프라인이 사실 확인 웹사이트나 정제된 코퍼스에 의존하지 않고도 관련성 있는 사전 발표 웹 증거를 확보할 수 있는가?
• RQ2 복잡한 주장을 검색하기 위해 주장 분해 기법이 오픈 웹에서 확보된 증거의 품질을 얼마나 향상시키는가?
• RQ3 LLM이 생성한 주장 중심 요약이 확보된 증거를 얼마나 사실에 충실하게 표현하며, 정확한 진실성 판단을 지원하는가?
• RQ4 사전 발표 웹 문서만을 기반으로 증거 검색을 수행할 경우 주로 발생하는 실패 유형은 무엇인가?
• RQ5 초기 자동화된 결과가 부족할 경우 인간-기계 협업 시스템이 반복적으로 증거 검색과 요약 품질을 향상시킬 수 있는가?

주요 결과

• 증거 없이 비교한 기준 대비 파이프라인은 더 나은 진실성 분류 성능을 달성하여 웹 증거 확보의 가치를 입증한다.
• 1단계 검색에서 36.0%의 하위질문에서 실패를 기록하여, 관련 있는 사전 발표 증거가 웹에 자주 존재하지 않음을 시사한다.
• 원래 주장만을 사용하는 것보다 주장 분해 기법을 통해 검색 품질이 크게 향상되었으며, 이는 진실성 분류 성능 향상으로 확인된다.
• 인간 평가 결과, 생성된 요약은 대부분 사실에 충실하고 관련성이 있으며, 14개의 완전히 검토 가능한 주장 중에서 오직 하나의 주요 사실 오류만 발견되었다.
• 확보된 증거는 종종 주장의 일부 측면만을 다루므로, 실제 사실 확인에서 증거의 불완전성이 핵심 과제임을 보여준다.
• 이 연구는 검색 실패의 두 가지 주요 원인을 규명하였으며, 사전 발표 정보의 부재와 낮은 품질의 하위질문이 그 원인로 나타나, 질문 생성 및 맥락 제거 기술 향상의 여지가 있음을 시사한다.