[논문 리뷰] Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020

Maaz Amjad, Butt, Sabur외 4명|arXiv (Cornell University)|2022. 07. 11.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 FIRE 2021에서 개최된 우르두어 가짜 뉴스 탐지에 관한 두 번째 공동 과제를 다루며, 다섯 분야에 걸친 1,300개의 주석이付け된 뉴스 기사로 구성된 데이터셋을 제공한다. 최고 성능을 기록한 시스템은 확률적 경사 하강법으로 최적화된 선형 서포트 벡터 머신을 사용하여 F1-macro 점수 0.679를 달성했으며, 딥 뉴럴 네트워크를 능가하여 이 저자원 언어 과제에서 전통적인 기계 학습 접근 방식의 효과성을 입증한다.

ABSTRACT

Automatic detection of fake news is a highly important task in the contemporary world. This study reports the 2nd shared task called UrduFake@FIRE2021 on identifying fake news detection in Urdu. The goal of the shared task is to motivate the community to come up with efficient methods for solving this vital problem, particularly for the Urdu language. The task is posed as a binary classification problem to label a given news article as a real or a fake news article. The organizers provide a dataset comprising news in five domains: (i) Health, (ii) Sports, (iii) Showbiz, (iv) Technology, and (v) Business, split into training and testing sets. The training set contains 1300 annotated news articles -- 750 real news, 550 fake news, while the testing set contains 300 news articles -- 200 real, 100 fake news. 34 teams from 7 different countries (China, Egypt, Israel, India, Mexico, Pakistan, and UAE) registered to participate in the UrduFake@FIRE2021 shared task. Out of those, 18 teams submitted their experimental results, and 11 of those submitted their technical reports, which is substantially higher compared to the UrduFake shared task in 2020 when only 6 teams submitted their technical reports. The technical reports submitted by the participants demonstrated different data representation techniques ranging from count-based BoW features to word vector embeddings as well as the use of numerous machine learning algorithms ranging from traditional SVM to various neural network architectures including Transformers such as BERT and RoBERTa. In this year's competition, the best performing system obtained an F1-macro score of 0.679, which is lower than the past year's best result of 0.907 F1-macro. Admittedly, while training sets from the past and the current years overlap to a large extent, the testing set provided this year is completely different.

연구 동기 및 목표

• 저자원 언어인 우르두어에서 자동 가짜 뉴스 탐지 기술을 향상시키기 위해.
• 다양한 자연어 처리 기법을 활용하여 우르두어에서 가짜 뉴스를 식별하는 효과적인 방법 개발을 연구 공동체에 촉진하기 위해.
• 학습 및 평가를 위한 1,300개의 주석이付け진 우르두어 뉴스 기사로 구성된 공개 가능한 다중 도메인 데이터셋을 제공하기 위해.
• 기존 기계 학습 모델과 최신 딥 러닝 및 사전 훈련된 트랜스포머 모델 간의 성능을 비교하기 위해.
• 저자원 환경에서 특징 공학 및 모델 아키텍처 선택의 효과성을 조사하기 위해.

제안 방법

• 과제는 뉴스 기사를 실재 또는 가짜로 분류하는 이진 텍스트 분류 문제로 설정되었다.
• 의료, 스포츠, 쇼biz, 기술, 비즈니스 등 다섯 분야에서 구성된 1,300개의 학습 및 300개의 테스트 기사로 구성된 데이터셋을 구축했다.
• 실제 뉴스는 BBC 우르두 뉴스 및 CNN 우르두 뉴스와 같은 신뢰할 수 있는 출처에서 수집되었으며, 가짜 뉴스는 실제 오락성 정보를 모방하도록 전문적으로 작성되었다.
• 참가자들은 백오프워드(BoW), 워드 임베딩, BERT, RoBERTa, MuRIL, RoBERTa-urdu-small와 같은 사전 훈련된 컨텍스트 모델을 포함한 다양한 기법을 활용했다.
• 앙상블 방법, 컨볼루션 신경망(CNN), 다양한 기계 학습 모델(SVM, SVC 등)을 사용하였으며, 최고의 시스템은 확률적 경사 하강법으로 최적화된 선형 서포트 벡터 머신을 사용했다.
• 평가 기준은 F1-macro, 정밀도, 재현율, 정확도였으며, 결과는 각 클래스 및 종합적으로 보고되었다.

실험 결과

연구 질문

• RQ1 저자원 우르두어에서 가짜 뉴스 탐지에 있어 기존 기계 학습 모델과 딥 네트워크 간의 성능 비교는 어떻게 되는가?
• RQ2 다국어 모델 대비 우르두어 전용 사전 훈련된 언어 모델을 사용할 경우 가짜 뉴스 탐지 성능에 어떤 영향을 미치는가?
• RQ3 이 저자원 환경에서 수작업으로 만든 특징이 엔드 투 엔드 신경망 표현 방식보다 얼마나 뛰어나게 작용하는가?
• RQ4 이번 해 과제에서처럼 한 세트의 가짜 뉴스 데이터로 훈련된 모델이 완전히 다른 테스트 세트로 일반화되는 정도는 어느 정도인가?
• RQ5 가짜 뉴스 탐지 시스템의 성능에 있어 데이터 품질과 도메인 다양성은 어떤 역할을 하는가?

주요 결과

• 최고 성능 시스템은 F1-macro 점수 0.679를 기록했으며, 이는 지난해 공통 과제의 0.907 F1-macro 점수보다 유의미하게 낮았다.
• 이전 해와 동일한 학습 데이터 오버랩이 있었음에도 불구하고, 테스트 세트는 완전히 새로운 것으로, 데이터 분포 또는 난이도의 변화를 시사했다.
• 최고의 시스템은 확률적 경사 하강법으로 최적화된 선형 서포트 벡터 머신을 사용했으며, BERT나 RoBERTa와 같은 더 복잡한 모델을 능가했다.
• SVM를 활용한 전통적인 특징 기반 모델이 엔드 투 엔드 신경망 및 컨텍스트 임베딩보다 뛰어난 성능을 보였다.
• 모든 시스템의 평균 F1-macro 점수는 0.553이며, 표준 편차는 0.093로, 성능에 높은 변동성이 있음을 나타냈다.
• 18개 팀 중 11개 팀만 기술 보고서를 제출하여, 2020년 대회에 비해 상당한 증가를 보였으며, 연구 관심도 및 참여도가 높아지고 있음을 시사한다.