[논문 리뷰] Matching Tweets With Applicable Fact-Checks Across Languages

Ashkan Kazemi, Zehua Li외 3명|arXiv (Cornell University)|2022. 02. 14.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 분류 및 검색 방법을 병행하여 다국어 환경에서 소셜 미디어 트윗과 기존 사실 확인 자료를 매칭하는 다국어 접근법을 제안한다. 트윗-사실 확인 쌍의 분류에서 평균 정확도 86.28%를 달성하며, 단일 언어 검색에서는 BM25가 다국어 임bedding보다 우수한 성능을 보였고, LaBSE는 다국어 설정에서 뛰어난 성능을 보여, 히ند리어와 영어 간 효과적인 다국어 사실 확인 매칭을 가능하게 한다.

ABSTRACT

An important challenge for news fact-checking is the effective dissemination of existing fact-checks. This in turn brings the need for reliable methods to detect previously fact-checked claims. In this paper, we focus on automatically finding existing fact-checks for claims made in social media posts (tweets). We conduct both classification and retrieval experiments, in monolingual (English only), multilingual (Spanish, Portuguese), and cross-lingual (Hindi-English) settings using multilingual transformer models such as XLM-RoBERTa and multilingual embeddings such as LaBSE and SBERT. We present promising results for "match" classification (86% average accuracy) in four language pairs. We also find that a BM25 baseline outperforms or is on par with state-of-the-art multilingual embedding models for the retrieval task during our monolingual experiments. We highlight and discuss NLP challenges while addressing this problem in different languages, and we introduce a novel curated dataset of fact-checks and corresponding tweets for future research.

연구 동기 및 목표

• 기존 사실 확인 자료를 자동으로 관련 소셜 미디어 게시글에 매칭함으로써 효율적으로 배포하는 데 도전한다.
• 다국어 및 다국어 설정에서 이전에 사실 확인된 주장들을 신뢰할 수 있는 방법으로 탐지하는 방법을 개발한다.
• 수동 사실 확인의 확장성과 영향 범위를 높이기 위해 트윗에 적용 가능한 사실 확인 자료를 자동으로 검색할 수 있도록 한다.
• 향후 연구를 위해 영어, 스페인어, 포르투갈어, 히нд리어로 구성된 다국어 트윗-사실 확인 쌍의 새로운 커리티드 데이터셋을 소개한다.

제안 방법

• 트윗과 사실 확인 자료 쌍이 매칭되는지 여부를 판단하기 위해 XLM-RoBERTa 기반 이진 분류 모델을 훈련한다.
• 검색을 위해 LaBSE, SBERT, MPNet-SBERT의 문장 임베딩을 사용하여 트윗과 사실 확인 자료 표현 간 코사인 유사도를 계산한다.
• 기준선으로서 BM25를 적용하며, 전체 사실 확인 기사와 문단 수준의 요약문을 모두 사용한다.
• 히нд리어 트윗과 영어 사실 확인 자료 간의 다국어 매칭을 평가하기 위해 LaBSE를 주요 다국어 임베딩 모델로 사용한다.
• 표준 정보 검색 메트릭인 MAP@K와 MRR을 사용하여 여러 언어 쌍에서 성능을 평가한다.
• 단일 언어 및 다국어 설정을 비교하며, 언어 간 및 입력 길이 제약 조건에 따른 모델 행동을 분석한다.

실험 결과

연구 질문

• RQ1 XLM-RoBERTa와 같은 다국어 트랜스포머 모델이 여러 언어에서 트윗과 사실 확인 자료 쌍이 매칭되는지 효과적으로 분류할 수 있는가?
• RQ2 BM25가 단일 언어 트윗-사실 확인 검색에서 최신 기술 수준의 다국어 문장 임베딩 모델보다 뛰어나게 성능을 냈는가?
• RQ3 LaBSE 및 MPNet-SBERT와 같은 다국어 임베딩 모델은 히нд리어 트윗과 영어 사실 확인 자료 간의 다국어 사실 확인 검색에서 얼마나 효과적인가?
• RQ4 임베딩 모델의 입력 길이 제약 조건(예: 512 토큰)이 BM25에 비해 검색 성능에 얼마나 영향을 미치는가?
• RQ5 특화된 다국어 임베딩 모델이 일반 목적 모델을 초월해 사실 확인 매칭의 검색 성능을 향상시킬 수 있는가?

주요 결과

• XLM-RoBERTa 기반 이진 분류기는 네 개 언어 쌍에서 평균 정확도 86.28%를 달성했으며, 영어-영어 쌍에서 최고로 89%를 기록했다.
• 단일 언어 검색에서 BM25는 최신 기술 수준의 다국어 임베딩 모델(LaBSE, MPNet-SBERT)을 뛰어나거나 동등하게 성능을 냈으며, 전체 길이의 사실 확인 자료에서 53.15%의 MAP@50를 기록했다.
• 포르투갈어에서는 문단 수준의 BM25 시스템이 모든 임베딩 모델보다 최소 MAP@1 10점과 MRR 9.5점 이상 높은 성능을 보였다.
• 히нд리어 트윗과 영어 사실 확인 자료 간의 다국어 검색에서 LaBSE는 최고의 BM25 기준선 대비 7.5+ MAP@1 향상률을 기록했으며, 강력한 제로샷 다국어 매칭 능력을 입증했다.
• 입력 길이 제약 조건에도 불구하고 LaBSE는 다국어 설정에서 BM25와 MPNet-SBERT를 모두 능가하는 뛰어난 성능을 보였다.
• 이 연구는 장문의 문서를 다룰 수 있는 다국어 임베딩 모델(예: Longformer)이 필요하다고 밝히며, 512토큰 제한으로 인해 전체 사실 확인 자료 검색 성능이 저하되는 문제를 해결하기 위한 필요성을 제기한다.