[논문 리뷰] Harnessing Abstractive Summarization for Fact-Checked Claim Detection

Varad Bhatnagar, Diptesh Kanojia외 1명|arXiv (Cornell University)|2022. 09. 10.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 소음이 많은 트윗에서 요약된 정보를 활용해 이전에 확인된 사실을 소셜 미디어에서 탐지하는 새로운 워크플로우를 제안한다. 뉴스 기사의 요약을 생성하는 개괄적 요약 기술을 사용해 간결하고 검색에 적합한 요약문을 생성함으로써, 새로 구축한 인도 트위터 사실 확인 데이터셋을 기반으로 대규모 언어 모델을 미세조정함으로써, 그대로 검색하는 것보다 최대 3배 향상된 검색 성능을 달성한다. Recall@5는 35%이며 MRR는 0.3로, 기준 방법보다 뚜렷이 뛰어나다.

ABSTRACT

Social media platforms have become new battlegrounds for anti-social elements, with misinformation being the weapon of choice. Fact-checking organizations try to debunk as many claims as possible while staying true to their journalistic processes but cannot cope with its rapid dissemination. We believe that the solution lies in partial automation of the fact-checking life cycle, saving human time for tasks which require high cognition. We propose a new workflow for efficiently detecting previously fact-checked claims that uses abstractive summarization to generate crisp queries. These queries can then be executed on a general-purpose retrieval system associated with a collection of previously fact-checked claims. We curate an abstractive text summarization dataset comprising noisy claims from Twitter and their gold summaries. It is shown that retrieval performance improves 2x by using popular out-of-the-box summarization models and 3x by fine-tuning them on the accompanying dataset compared to verbatim querying. Our approach achieves Recall@5 and MRR of 35% and 0.3, compared to baseline values of 10% and 0.1, respectively. Our dataset, code, and models are available publicly: https://github.com/varadhbhatnagar/FC-Claim-Det/

연구 동기 및 목표

• 소셜 미디어에서 이전에 확인된 주장의 탐지를 자동화함으로써 사실 확인의 확장성 문제를 해결하기 위해.
• 반복적인 주장 매칭 작업이 아닌 높은 복잡도의 과제에 인적 자원을 집중시키기 위해 사실 확인의 인적 부담을 줄이기 위해.
• 인도적 맥락에서 소음이 많은 실제 트윗에 대해 처음으로 개괄적 요약 데이터셋을 구축하기 위해.
• 소음이 많은 트윗을 명확한 요약 기반 질의로 변환함으로써 사실 확인된 주장의 검색 성능을 향상시키기 위해.
• 다양한 디코딩 전략과 사전 학습된 모델이 질의 품질과 검색 효율성에 미치는 영향을 평가하기 위해.

제안 방법

• 이전에 확인된 주장의 검색을 위해 Google의 Fact Check Explorer를 블랙박스 검색기로 사용한다.
• 소음이 많고 비공식적인 트윗을 간결하고 정보가 풍부한 요약문으로 변환하기 위해 사전 학습된 개괄적 요약 모델(예: T5, BART)을 적용한다.
• 인도 소셜 미디어 주장에서 유래한 567개의 트윗-요약 쌍으로 구성된 새로 구축한 데이터셋을 기반으로 이러한 모델을 미세조정한다.
• 요약 기반 질의의 효과성을 평가하기 위해 Recall@5와 MRR와 같은 검색 메트릭스를 사용한다.
• 다양한 디코딩 전략(예: 빔 서치, 뉴클리어 샘플링)과 모델 크기를 비교하여 질의 품질을 최적화한다.
• 2018~2022년 사이의 실제 소음이 많은 주장들로부터 트위터 데이터셋을 수집하고, 사실 확인 기사에서 제공한 골드 표준 요약을 함께 제공한다.

실험 결과

연구 질문

• RQ1 개괄적 요약 기술이 소음이 많고 비공식적인 소셜 미디어 주장들을 간결하고 검색에 적합한 질의로 효과적으로 변환할 수 있는가?
• RQ2 요약 기반 질의 방식은 사실 확인된 주장 검색에서 그대로 검색 방식과 비교해 어떤 성능을 보이는가?
• RQ3 도메인 특화 데이터셋에 사전 학습된 요약 모델을 미세조정하면 검색 결과에 얼마나 큰 영향을 미치는가?
• RQ4 어떤 디코딩 전략과 모델 아키텍처가 사실 확인 검색에 가장 효과적인 질의를 생성하는가?
• RQ5 제안된 워크플로우는 유사한 가짜 뉴스 문제를 겪는 다른 언어권과 지역에 일반화될 수 있는가?

주요 결과

• 제안된 워크플로우는 미세조정된 개괄적 요약 모델을 사용할 경우, 그대로 검색 방식보다 최대 3배 향상된 검색 성능을 달성한다.
• 사전 학습된 요약 모델를 그대로 사용할 경우, 기준 그대로 검색 방식보다 검색 성능이 2배 향상된다.
• 이 방법은 Recall@5 35%와 MRR 0.3을 기록하며, 기준 값인 10%와 0.1보다 뚜렷이 뛰어나다.
• 구축한 인도 트위터 데이터셋에 T5와 BART와 같은 대규모 사전 학습 모델을 미세조정하면 질의 품질과 검색 효율성에 상당한 향상이 있다.
• 빔 서치와 뉴클리어 샘플링 디코딩 전략 간에는 요약 품질과 후속 검색 성능에 유의미한 차이가 나타난다.
• 데이터셋, 코드, 미세조정된 모델은 CC-BY-NC-SA 4.0 라이선스 하에 공개되어 있어 다국어 및 다언어 환경에서의 보다 넓은 재사용과 확장이 가능하다.