[논문 리뷰] End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models

Barry Menglong Yao, Aditya Shah외 3명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 15,601개의 주장을 포함하고 있으며, 인간이 검토한 진술성 여부 레이블과 결론 문장을 포함한 대규모 벤치마크 데이터셋인 Mocheg를 소개한다. 또한 33,880개의 텍스트 및 12,112개의 이미지 증거 자료를 포함하고 있다. 본 연구는 다중모달 증거 검색, 주장 검증, 설명 생성을 위한 베이스라인 모델을 수립하여 현재 최고 수준의 접근 방식에서 심각한 성능 격차가 있음을 드러냈다.

ABSTRACT

We propose end-to-end multimodal fact-checking and explanation generation, where the input is a claim and a large collection of web sources, including articles, images, videos, and tweets, and the goal is to assess the truthfulness of the claim by retrieving relevant evidence and predicting a truthfulness label (e.g., support, refute or not enough information), and to generate a statement to summarize and explain the reasoning and ruling process. To support this research, we construct Mocheg, a large-scale dataset consisting of 15,601 claims where each claim is annotated with a truthfulness label and a ruling statement, and 33,880 textual paragraphs and 12,112 images in total as evidence. To establish baseline performances on Mocheg, we experiment with several state-of-the-art neural architectures on the three pipelined subtasks: multimodal evidence retrieval, claim verification, and explanation generation, and demonstrate that the performance of the state-of-the-art end-to-end multimodal fact-checking does not provide satisfactory outcomes. To the best of our knowledge, we are the first to build the benchmark dataset and solutions for end-to-end multimodal fact-checking and explanation generation. The dataset, source code and model checkpoints are available at https://github.com/VT-NLP/Mocheg.

연구 동기 및 목표

• 기존 사실 확인 데이터셋이 다중모달 증거, 인간 검토 레이블, 설명 가능성 부족이라는 한계를 지닌 점을 해결하기 위해.
• 다중모달 증거 검색, 주장 검증, 설명 생성을 동시에 수행하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 웹 자료의 다양성(텍스트, 이미지, 트윗 포함)을 반영한 현실적인 다중모달 사실 확인 과제를 반영한 벤치마크를 구축하기 위해.
• 현재 최고 수준의 모델이 다중모달 사실 확인 및 설명 생성 전 과정을 처리하는 데에 부적절하다는 것을 입증하기 위해.
• 향후 설명 가능하고 다중모달이며 오픈 도메인 사실 확인 시스템에 대한 연구 기반을 마련하기 위해.

제안 방법

• 저자들은 Snopes와 Politifact에서 유래한 15,601개의 주장을 포함한 Mocheg 데이터셋을 구축하였으며, 각 주장을 진술성 여부(지지/반박/없음) 레이블과 인간이 작성한 결론 문장으로 레이블링하였다.
• 웹 자료에서 수집된 증거 자료로 33,880개의 텍스트 문단과 12,112개의 이미지를 포함하여 다중모달 다양성과 현실 세계의 관련성을 확보하였다.
• 프레임워크는 세 가지 하위 작업을 통합한다: 주장과 이질적인 증거 간의 교차 어텐션을 활용한 다중모달 증거 검색, 미세조정된 트랜스포머 모델을 통한 주장 검증, 순서-시퀀스 모델을 활용한 설명 생성.
• BERT, ViT, T5와 같은 최첨단 아키텍처를 사용하여 세 단계의 파이프라인 작업에 대해 상태 기반 모델을 훈련 및 평가하였다.
• 시스템은 엔드 투 엔드 학습을 지원하도록 설계되어, 검색, 검증, 설명 생성 간의 공동 최적화를 가능하게 하였다.
• 데이터셋은 CC BY 4.0 라이선스 하에 공개되었으며, 재현성 및 향후 연구를 위해 GitHub에서 코드와 모델 체크포인트를 제공한다.

실험 결과

연구 질문

• RQ1 기존 최고 수준의 모델들이 텍스트 및 시각적 증거를 모두 활용한 엔드 투 엔드 다중모달 사실 확인에서 만족스러운 성능을 달성할 수 있는가?
• RQ2 현재 모델들은 주장 검증을 위한 일관되고 사실에 기반하며 논리적으로 구성된 설명을 얼마나 효과적으로 생성하는가?
• RQ3 텍스트 중심 접근 방식에 비해 다중모달 증거(텍스트 및 이미지)가 사실 확인 성능 향상에 얼마나 기여하는가?
• RQ4 설명 생성에서 주요 실패 유형은 무엇인가? 특히 증거 문장을 의미 있는 단계별 추론 구조로 조직하지 못하는 경우가 얼마나 중요한가?
• RQ5 자동으로 생성된 레이블과 증거가 인간 검토 레이블과 증거에 비해 일관성과 신뢰성 측면에서 얼마나 떨어지는가?

주요 결과

• 최첨단 모델의 다중모달 증거 검색, 주장 검증, 설명 생성이라는 세 하위 작업에 대한 성능은 여전히 기대 수준에 크게 못 미치며, 향후 개선 여지가 크다는 것을 시사한다.
• 베이스라인 모델은 설명 생성에서 논리적 일관성을 유지하지 못해, 증거 문장을 의미 있는 단계별 추론 구조로 조직하지 못하는 경향이 있다.
• 시각 증거의 통합은 사실 확인 성능 향상에 기여하지만, 현재 모델들은 이미지에서 유래하는 보완 정보를 충분히 활용하지 못하고 있다.
• 설명 생성 모델은 종종 추론 과정과 일치하지 않아 너무 일반적이거나 증거와 연결되지 않은 문장을 생성하는 경향이 있다.
• 데이터셋은 복잡하거나 모호한 증거(예: 정책의 틈새, 재정 공시)를 포함한 주장을 자주 다루는 자동화된 시스템에 특히 도전적인 문제를 드러냈다.
• 본 연구는 이전 데이터셋에서 자동 생성된 레이블과 증거가 인간 검토 레이블과 증거에 비해 신뢰도가 떨어지며, Mocheg와 같은 고품질의 벤치마크가 필요하다는 점을 확인했다.