[논문 리뷰] Combating Hostility: Covid-19 Fake News and Hostile Post Detection in Social Media

Omar Sharif, Eftekhar Hossain외 1명|arXiv (Cornell University)|2021. 01. 09.

Hate Speech and Cyberbullying Detection참고 문헌 18인용 수 17

한 줄 요약

이 논문은 사회적 미디어에서 코로나19 가짜 뉴스와 적대적 콘텐츠를 탐지하기 위한 기계학습 및 딥러닝 시스템을 제시한다. SVM과 tf-idf, LPSVM과 n-gram 특징을 사용하여 가짜 뉴스 탐지에서 94.39%의 F1 스코어를 달성했고, 적대적 게시물 분류에서 86.03%의 굵은 그레인 F1 스코어를 기록했다. 특히 BERT의 미세조정이 성능을 크게 향상시켜 가짜 뉴스 탐지에서 98%의 F1 스코어, 적대적 분류에서 97%의 F1 스코어를 달성했다.

ABSTRACT

This paper illustrates a detail description of the system and its results that developed as a part of the participation at CONSTRAINT shared task in AAAI-2021. The shared task comprises two tasks: a) COVID19 fake news detection in English b) Hostile post detection in Hindi. Task-A is a binary classification problem with fake and real class, while task-B is a multi-label multi-class classification task with five hostile classes (i.e. defame, fake, hate, offense, non-hostile). Various techniques are used to perform the classification task, including SVM, CNN, BiLSTM, and CNN+BiLSTM with tf-idf and Word2Vec embedding techniques. Results indicate that SVM with tf-idf features achieved the highest 94.39% weighted $f_1$ score on the test set in task-A. Label powerset SVM with n-gram features obtained the maximum coarse-grained and fine-grained $f_1$ score of 86.03% and 50.98% on the task-B test set respectively.

연구 동기 및 목표

• 소셜 미디어에서 코로나19 팬데믹과 관련된 가짜 뉴스 및 적대적 콘텐츠(예: 혐오 발언, 명예 훼손, 모욕적 언어)를 자동으로 탐지하기 위한 시스템을 개발하는 것.
• 다국어 및 자원이 적은 환경에서 적대적 콘텐츠 클래스 간의 불균형과 겹치는 특성 문제를 해결하는 것.
• 자원이 적고 다국어 환경에서 전통적인 기계학습 모델(SVM, CNN, BiLSTM)과 딥러닝 및 사전 훈련된 모델(BERT) 간의 성능을 평가하는 것.
• 분류 실패 패턴을 규명하기 위해 정량적 및 정성적 오류 분석을 수행하여, 특히 표현이 부족한 적대적 클래스에서의 문제를 규명하는 것.
• 짧고 비공식적인 텍스트에서 오락성과 적대성 탐지에 효과적인 특징 공학(tf-idf, Word2Vec, n-grams)과 모델 아키텍처(CNN+BiLSTM)의 효과를 탐색하는 것.

제안 방법

• 영어(과제-A) 및 히ند어(과제-B) 텍스트 분류에서 기능 표현을 위해 SVM, CNN, BiLSTM, CNN+BiLSTM 모델을 tf-idf 및 Word2Vec 임베딩과 함께 사용하였다.
• 과제-B에서 다중 레이블 다중 클래스 분류를 처리하기 위해 n-gram 특징 추출(1-3) 및 레이블 파wr셋(LP) 변환을 적용하였다.
• 과제-B에서 다중 레이블 문제 변환을 위해 이진 관련성(BR), 레이블 파워셋(LP), 분류기 체인(CC) 방법을 사용하였다.
• 초기 하이퍼파라미터 튜닝을 위한 검증 세트와 최종 성능 평가를 위한 테스트 세트를 사용하여 모델을 훈련하고 평가하였다.
• 공동 과제 이후 BERT 모델을 과제-A 및 과제-B에서 미세조정하여 사전 훈련된 언어 모델의 성능에 미치는 영향을 평가하였다.
• 오분류된 예시를 대상으로 혼동 행렬 분석 및 정성적 오류 분석을 수행하여 언어적 및 맥락적 과제를 규명하였다.

실험 결과

연구 질문

• RQ1 자원이 적고 다국어 환경에서 기존 기계학습 모델(SVM 등)과 딥러닝 모델(CNN, BiLSTM 등) 간의 가짜 뉴스 및 적대적 콘텐츠 탐지 성능는 어떻게 비교되는가?
• RQ2 짧고 비공식적인 소셜 미디어 텍스트 맥락에서 다양한 특징 추출 기법(tf-idf, Word2Vec, n-grams)이 분류 성능에 어떤 영향을 미치는가?
• RQ3 전반적인 F1 스코어가 높음에도 불구하고 특정 적대적 클래스(예: 명예 훼손, 혐오, 모욕적)에서 높은 거짓 음성 비율을 보이는 이유는 무엇인가?
• RQ4 BERT와 같은 사전 훈련된 언어 모델의 미세조정이 CONSTRAINT 공동 과제에서 가짜 뉴스 및 적대적 콘텐츠 탐지 성능에 얼마나 큰 영향을 미치는가?
• RQ5 특히 혐오, 모욕적, 명예 훼손과 같은 겹치는 적대적 범주 간에 오분류를 유발하는 언어적 및 맥락적 요인는 무엇인가?

주요 결과

• tf-idf 특징을 사용한 SVM 모델이 과제-A(영어에서의 가짜 뉴스 탐지)에서 테스트 세트에서 가장 높은 가중 F1 스코어 94.39%를 기록했다.
• n-gram(1,3) 특징을 사용한 레이블 파워셋 SVM 모델이 과제-B(힌두어에서의 적대적 게시물 탐지)에서 가장 높은 굵은 그레인 F1 스코어 86.03%와 세밀한 그레인 F1 스코어 50.98%를 기록했다.
• Word2Vec 임베딩을 사용한 CNN+BiLSTM 모델이 과제-A에서 가중 F1 스코어 92.43%를 기록했으며, 이는 SVM 베이스라인보다 낮은 성능을 보여, 이 자원이 적은 환경에서 딥러닝 모델이 성능이 열 劣한 것으로 나타났다.
• 공동 과제 이후의 미세조정을 통해 BERT 모델이 과제-A에서 98%의 F1 스코어, 과제-B에서 97%의 굵은 그레인 F1 스코어를 기록하여 기존 모델 대비 뚜렷한 성능 향상을 보였다.
• 명예 훼손, 혐오, 모욕적 콘텐츠에 대해 높은 거짓 음성 비율이 관찰되었으며, 각각 169개, 134개, 219개의 실제 게시물 중 25개, 91개, 108개만 정확히 분류되어, 미묘하거나 맥락 의존적인 적대성 탐지에 어려움이 있음을 시사했다.
• 오분류의 주요 원인은 'covid19', 'vaccine', 'modi'와 같은 빈도 높은 용어들과, FDA, WHO 등 권위 기관을 언급하는 주장을 포함한 것으로, 진실과 가짜 콘텐츠의 경계를 흐리게 했으며, 적대적 클래스 간에 겹치는 의미적 특성들이 주요 원인으로 작용했다.