[논문 리뷰] Breaking Language Barriers with MMTweets: Advancing Cross-Lingual Debunked Narrative Retrieval for Fact-Checking

Iknoor Singh, Carolina Scarton외 2명|arXiv (Cornell University)|2023. 08. 10.

Misinformation and Its ImpactsSocial Sciences인용 수 3

한 줄 요약

이 논문은 히ند어, 스페인어, 포르투갈어, 영어로 작성된 1,600건의 가짜 뉴스 트윗과 이를 바탕으로 한 다국어 사실 확인 기사를 포함하는 MMTweets라는 다국어 데이터셋을 소개하며, 작업 전용 미세조정 없이도 제로샷 및 교차도메인 전이가 가능한 다단계 검색 프레임워크를 제안한다. 이 프레임워크는 BM25 및 미세조정된 다국어 트랜스포머 모델보다 다국어 사실 확인 서사 검색에서 뛰어난 성능을 보인다.

ABSTRACT

Finding previously debunked narratives involves identifying claims that have already undergone fact-checking. The issue intensifies when similar false claims persist in multiple languages, despite the availability of debunks for several months in another language. Hence, automatically finding debunks (or fact-checks) in multiple languages is crucial to make the best use of scarce fact-checkers' resources. Mainly due to the lack of readily available data, this is an understudied problem, particularly when considering the cross-lingual scenario, i.e. the retrieval of debunks in a language different from the language of the online post being checked. This study introduces cross-lingual debunked narrative retrieval and addresses this research gap by: (i) creating Multilingual Misinformation Tweets (MMTweets): a dataset that stands out, featuring cross-lingual pairs, images, human annotations, and fine-grained labels, making it a comprehensive resource compared to its counterparts; (ii) conducting an extensive experiment to benchmark state-of-the-art cross-lingual retrieval models and introducing multistage retrieval methods tailored for the task; and (iii) comprehensively evaluating retrieval models for their cross-lingual and cross-dataset transfer capabilities within MMTweets, and conducting a retrieval latency analysis. We find that MMTweets presents challenges for cross-lingual debunked narrative retrieval, highlighting areas for improvement in retrieval models. Nonetheless, the study provides valuable insights for creating MMTweets datasets and optimising debunked narrative retrieval models to empower fact-checking endeavours. The dataset and annotation codebook are publicly available at https://doi.org/10.5281/zenodo.10637161.

연구 동기 및 목표

• 질문 트윗과 다른 언어로 작성된 이미 확인된 서사를 검색하는 데 도전하는 문제를 해결한다. 특히 자원이 부족한 다국어 환경에서의 문제를 다룬다.
• 영어 이외의 언어에 특화된 다국어 사실 확인 검색을 위한 애너테이션된 데이터셋의 부족함을 해결한다.
• 작업 전용 미세조정 없이도 언어 및 도메인 간 일반화가 가능한 강력한 검색 시스템을 개발한다.
• 사실 확인 시스템의 대량 애너테이션 데이터 의존도를 줄이기 위해 제로샷 및 교차데이터셋 전이 학습을 가능하게 한다.
• 이전에 확인된 주장을 다국어로 검색함으로써 자동화된 사실 확인을 촉진하고, 수작업 부담과 가짜 정보 확산을 줄인다.

제안 방법

• 1,600건의 다국어 트윗과 30,452건의 사실 확인 기사로 구성된 MMTweets 데이터셋을 구축하며, 다국어 관련성에 대해 애너테이션을 수행한다.
• 다국어 정렬을 향상시키기 위해 정제 및 재순서 단계로 분리된 다단계 검색 프레임워크를 구현한다.
• 다양한 언어에서 질의 및 문서를 인코딩하기 위해 시장에서 구할 수 있는 다국어 사전 훈련된 트랜스포머(MPT) 모델(예: mBERT, XLM-R)을 사용한다.
• 기계 번역을 활용해 비영어 질의를 영어 사실 확인 기사와 정렬함으로써, BM25와 같은 강력한 백본으로서의 역할을 수행하는 어휘 기반 검색을 적용한다.
• 다단계 프레임워크에서 문장 임베딩을 캐시하여 추론 속도를 최적화하고 효율적인 검색을 가능하게 한다.
• 제로샷 일반화를 테스트하기 위해 MMTweets 및 CLEF 아랍어 데이터셋에서 다국어 및 교차데이터셋 설정을 사용해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 작업 전용 미세조정 없이도, 시장에서 구할 수 있는 다국어 사전 훈련된 모델이 기계 번역된 질의를 사용할 때 다국어 사실 확인 서사 검색에서 BM25 백본을 능가할 수 있는가?
• RQ2 제안된 다단계 검색 프레임워크는 다양한 언어와 데이터셋 간의 검색 성능 향상에 얼마나 효과적인가?
• RQ3 다단계 프레임워크는 제로샷 및 교차데이터셋 시나리오에 얼마나 잘 일반화되는가? 특히 자원이 부족한 언어에 대해서는 어떤가?
• RQ4 가짜 뉴스가 다중 모odal(예: 텍스트 및 이미지)을 포함할 경우 검색 모델의 주요 실패 원인은 무엇인가?
• RQ5 다단계 프레임워크는 데이터셋 간 및 언어 간 효과적인 지식 전이를 가능하게 할 수 있는가? 이는 광범위한 미세조정의 필요성을 줄일 수 있는가?

주요 결과

• 기계 번역된 질의를 사용할 때, 시장에서 구할 수 있는 다국어 사전 훈련된 모델은 다국어 사실 확인 서사 검색에서 BM25 백본을 능가하지 못한다.
• 제안된 다단계 검색 프레임워크는 히нд어, 스페인어, 포르투갈어, 영어를 포함한 모든 테스트 언어에서 BM25 및 미세조정된 MPT 모델을 일관되게 능가한다.
• 다단계 프레임워크는 제로샷 및 교차데이터셋 일반화에 효과적으로 기여하며, 미세조정 없이도 알려지지 않은 언어와 데이터셋에서 강력한 성능을 달성한다.
• 캐시된 임베딩 덕분에 고비용 기계 번역에 대한 의존도를 줄여 추론 효율성을 향상시켰지만, BM25보다는 더 높은 계산 비용을 수반한다.
• 오류 분석 결과, 한 트윗이 여러 개의 사실 확인 기사와 연결되어 있을 경우 관련 결과의 점수 분포가 흩어지면서 검색 실패가 자주 발생한다.
• 텍스트만으로는 부족하고 오해의 소지가 있는 이미지나 영상이 포함된 다중 모달 가짜 뉴스는 심각한 도전 과제를 제기하며, 향후 다중 모달 검색 시스템의 필요성을 시사한다.