[논문 리뷰] Machine Generation and Detection of Arabic Manipulated and Fake News

El Moatez Billah Nagoudi, AbdelRahim Elmadany외 3명|arXiv (Cornell University)|2020. 11. 05.

Misinformation and Its Impacts참고 문헌 47인용 수 41

한 줄 요약

본 논문은 POS 태깅 데이터와 단어 임베딩을 사용하여 Arabic 조작된(그리고 잠재적으로 위조된) 뉴스를 자동으로 생성하는 간단한 방법을 제안하고, AraNews+, 대규모 POS-tagged Arabic 뉴스 데이터셋을 도입하며, 조작 및 가짜 뉴스 탐지기를 구축하고, Arabic 가짜뉴스 탐지에서 최첨단 결과를 달성한다.

ABSTRACT

Fake news and deceptive machine-generated text are serious problems threatening modern societies, including in the Arab world. This motivates work on detecting false and manipulated stories online. However, a bottleneck for this research is lack of sufficient data to train detection models. We present a novel method for automatically generating Arabic manipulated (and potentially fake) news stories. Our method is simple and only depends on availability of true stories, which are abundant online, and a part of speech tagger (POS). To facilitate future work, we dispense with both of these requirements altogether by providing AraNews, a novel and large POS-tagged news dataset that can be used off-the-shelf. Using stories generated based on AraNews, we carry out a human annotation study that casts light on the effects of machine manipulation on text veracity. The study also measures human ability to detect Arabic machine manipulated text generated by our method. Finally, we develop the first models for detecting manipulated Arabic news and achieve state-of-the-art results on Arabic fake news detection (macro F1=70.06). Our models and data are publicly available.

연구 동기 및 목표

• 데이터 부족 속에서 가짜 및 기계 생성 아랍어 뉴스 탐지의 필요성을 고취한다.
• 오프 더 셸프 연구를 지원하기 위한 대규모 POS-tagged Arabic 뉴스데이터 AraNews를 소개한다.
• 단어 임베딩을 사용해 토큰을 치환하는 간단한 자동 조작 방법을 제안한다.
• 탐지 모델을 학습시키기 위한 조작된 뉴스 데이터셋 ATB+와 AraNews+를 만든다.
• 조작 텍스트 탐지(MTD)와 가짜 뉴스 탐지(FND) 모델을 평가하고, 강한 성과를 달성하며 데이터 증강의 이점을 보여준다.]
• method_Notes: Use ATB and AraNews as seed true stories.
• method: [

제안 방법

• ATB와 AraNews를 시드 진짜 이야기로 사용한다.
• 데이터에 POS 태깅을 수행한다(ATB는 이미 태깅되어 있고, AraNews는 MADAMIRA를 통해 태깅되었다).
• 아랍어 말뭉치에서 300차원 AraNewsEmb 단어 임베딩을 학습한다.
• POS에 따라 후보 토큰을 식별한다: N_PROP, N_NUM, ADJ, ADJ_COMP, ADJ_NUM, NEG_PART.
• 각 후보 토큰을 AraNewsEmb의 k-최근접 토큰으로 대체하고, 문자 수준 유사도 임계값 50%를 사용한다.
• 조작된 텍스트를 위해 부정어를 제거하고 숫자를 임의의 숫자로 대체한다.

실험 결과

연구 질문

• RQ1 자동 아랍어 텍스트 조작이 외부 검사 없이도 설득력 있는 조작된/가짜 뉴스를 생성할 수 있는가?
• RQ2 제안된 방법으로 생성된 기계 조작 아랍어 텍스트를 인간이 얼마나 잘 탐지할 수 있는가?
• RQ3 생성된 조작 텍스트로 학습된 탐지기가 아랍어 가짜 뉴스 탐지를 개선할 수 있는가?
• RQ4 조작 텍스트 탐지와 가짜 뉴스 탐지에 AraNews+와 ATB+ 데이터 사용이 미치는 영향은 무엇인가?

주요 결과

Dataset	Model	Dev Acc	Dev F1	Test Acc	Test F1
ATB+	mBERT	77.16	77.08	77.42	77.36
ATB+	XLM-R Base	81.72	81.72	83.22	83.20
ATB+	XLM-R Large	82.41	82.38	81.38	81.36
ATB+	AraBERT	83.19	83.17	82.63	82.62
AraNews+	mBERT	79.39	79.38	83.51	83.52
AraNews+	XLM-R Base	82.77	82.56	86.09	86.08
AraNews+	XLM-R Large	82.12	82.10	86.35	86.35
AraNews+	AraBERT	87.21	87.21	89.23	89.25

• ATB+와 AraNews+에서 대형 다국어 모델을 활용한 최상의 조작된 텍스트 탐지(MTD) 성능은 AraNews+ 테스트 세트에서 AraBERT로 매크로 F1이 최대 89.25에 도달한다.
• MTD 결과 ATB+의 조작된 텍스트 탐지가 AraNews+보다 더 어렵다(각 테스트 세트에서 F1: 83.20 vs 89.25).
• 외부 골드로 Khouja를 사용한 가짜 뉴스 탐지(FND)에서 생성 데이터로 데이터 증가(AraNews+ 두 배)가 F1 70.06을 산출, 기준선보다 우수.
• 생성 데이터만으로 제로샷 FND가 주목할 만한 F1(최대 52.71)을 달성하여, 골드 학습 데이터 없이도 탐지 작업에서 생성 데이터의 유용성을 시사한다.
• 저자들은 AraNews, ATB+, AraNews+, 및 탐지 모델을 연구 목적에 공개한다.