[논문 리뷰] Categorising Fine-to-Coarse Grained Misinformation: An Empirical Study of COVID-19 Infodemic

Ye Jiang, Xingyi Song외 3명|arXiv (Cornell University)|2021. 06. 22.

Misinformation and Its Impacts인용 수 8

한 줄 요약

이 논문은 8개의 카테고리(관련 반박, 댓글, 질문 등 포함)를 가진 세분화된 수작업 레이블이 부여된 1,722건의 코로나19 가짜정보 트윗 데이터셋을 소개한다. 이는 가짜정보 탐지와 사회적 행동 분석을 모두 가능하게 한다. 연구 결과, 가짜정보와 반박 트윗의 확산 속도가 유사하게 나타났으며, 질문 및 댓글과 같은 사회적 행동이 가짜정보와 강하게 상관관계가 있음을 확인했다. 그러나 최신 NLP 모델은 '가짜 주장 제외' 검증 환경에서 성능이 크게 떨어지며, 새로운 가짜정보에 대한 일반화 능력이 떨어지는 것으로 나타났다.

ABSTRACT

The spreading COVID-19 misinformation over social media already draws the attention of many researchers. According to Google Scholar, about 26000 COVID-19 related misinformation studies have been published to date. Most of these studies focusing on 1) detect and/or 2) analysing the characteristics of COVID-19 related misinformation. However, the study of the social behaviours related to misinformation is often neglected. In this paper, we introduce a fine-grained annotated misinformation tweets dataset including social behaviours annotation (e.g. comment or question to the misinformation). The dataset not only allows social behaviours analysis but also suitable for both evidence-based or non-evidence-based misinformation classification task. In addition, we introduce leave claim out validation in our experiments and demonstrate the misinformation classification performance could be significantly different when applying to real-world unseen misinformation.

연구 동기 및 목표

• 코로나19 가짜정보 유행 기간 동안 가짜정보와 관련된 사회적 행동(예: 질문, 댓글, 반박 등)을 이해하는 데에 미치는 격차를 메우기 위해.
• 비증거 기반 및 증거 기반 가짜정보 분류를 지원하기 위해 8개 카테고리로 세분화된 수작업 레이블이 부여된 1,722건의 트윗 데이터셋을 개발하기 위해.
• 가짜정보 유포와 관련된 사회적 행동(질문, 댓글, 반박 등) 간 상관관계를 조사하기 위해.
• 실제 '가짜 주장 제외' 교차검증 설정에서 최신 NLP 모델의 가짜정보 분류 성능에 대한 내구성 평가하기 위해.

제안 방법

• IFCN에서 사실 확인한 가짜정보 주장을 검색어로 사용하여, 정보 검색 파이프라인을 통해 관련 트윗을 추출하였다.
• 8개의 카테고리로 구성된 세분화된 레이블 체계를 개발함: 관련 반박, 관련 가짜정보, 댓글, 질문, 관련 기타, 무관, 그리고 맥락을 위한 추가 두 클래스.
• 각 트윗은 독립된 3명의 레이블러가 수작업 레이블링하였으며, 상호 레이블러 간 일致도는 Krippendorff’s alpha(0.67, 상당한 일致도)로 측정하였다.
• 비증거 기반, 증거 기반, 세분화된 분류의 3가지 분류 과제에 대해 최신 NLP 모델(BERT_Pair 등)을 사용한 벤치마크 실험을 수행하였다.
• 실제 운영 환경을 시뮬레이션하기 위해, 훈련 중에 알려지지 않은 주장이 제외되는 새로운 '가짜 주장 제외' 교차검증 전략을 적용하였다.
• 10개월 간의 정량적 분석을 통해 가짜정보의 진화 양상과 유형을 연구하였다.

실험 결과

연구 질문

• RQ1 가짜정보 주장을 두고 질문하거나 댓글을 다는 소셜 미디어 게시물은 얼마나 되며, 이러한 행동은 가짜정보 유포와 상관관계가 있는가?
• RQ2 반박 트윗의 수량은 가짜정보 트윗의 수량과 상관관계가 있는가?
• RQ3 소셜 미디어에서 유통되는 가짜정보의 고유한 카테고리와 특성은 무엇인가?
• RQ4 최신 NLP 모델은 표준 교차검증과 비교해 실제 '가짜 주장 제외' 검증 설정에서 어떻게 성능을 내는가?
• RQ5 댓글과 질문과 같은 사회적 행동이 가짜정보 및 반박 콘텐츠와 동시에 발생하는 정도는 어느 정도인가?

주요 결과

• 가짜정보와 반박 트윗의 확산 속도가 유사하게 나타나, 사실 확인 노력만으로는 대규모 가짜정보를 효과적으로 억제하기에는 부족할 수 있음을 시사한다.
• 가짜정보에 대한 질문과 댓글은 가짜정보 및 반박 트윗과 강력한 양의 상관관계를 보이며, 이는 공중이 거짓 주장을 적극적으로 참여하고 있음을 시사한다.
• 가짜정보 트윗의 상당수는 높은 신뢰성의 소스에서 온 URL을 포함하고 있어, 신뢰할 수 있는 정보가 악용되거나 왜곡된 것으로 보일 수 있음을 시사한다.
• '가짜 주장 제외' 검증 설정에서 F1 스코어가 급격히 하락하였으며, 특히 '댓글' 클래스의 경우 F1 < 0.25로 나타나, 모델이 훈련된 주장에 과적합되어 새로운 가짜정보에 일반화하지 못함을 드러냈다.
• '가짜정보' 클래스는 두 설정 모두에서 비교적 안정된 성능(F1 ~0.43)을 유지하였으며, 이는 표본 수가 많기 때문일 것이며, 다른 클래스인 '질문'과 '댓글'은 일반화 능력이 떨어지는 데에 악영향을 받았다.
• 혼동 행렬 분석 결과, 모델이 '관련 반박'을 '반박'으로, '댓글'을 '가짜정보'로 자주 잘못 분류한 것으로 나타났으며, 이는 의미적 유사성과 댓글 텍스트 내 포함된 가짜정보로 인한 것임을 시사한다.