[논문 리뷰] It's Always April Fools' Day! On the Difficulty of Social Network Misinformation Classification via Propagation Features

Mauro Conti, Daniele Lain외 3명|IMT Institutional Repository (IMT School for Advanced Studies Lucca)|2017. 01. 16.

Misinformation and Its Impacts참고 문헌 36인용 수 4

한 줄 요약

이 논문은 소셜 미디어 콘텐츠의 구조적 전파 특성—예를 들어 캐스케이드 구조 및 사용자 상호작용 패턴—이 페이스북에서 위성정보를 신뢰성 있게 분류할 수 있는지 조사한다. 강력하고 조작에 저항하는 특성을 사용했음에도 불구하고, 분류 성능은 여전히 열악하다 (전파 중 F1-스코어 ≤ 0.65, 완료 시 <0.70). 이는 위성정보와 사실 기반 과학 콘텐츠가 구분할 수 없는 전파 역학을 보이며, 순수 전파 기반 탐지 시스템의 실현 가능성에 의문을 제기한다.

ABSTRACT

Given the huge impact that Online Social Networks (OSN) had in the way people get informed and form their opinion, they became an attractive playground for malicious entities that want to spread misinformation, and leverage their effect. In fact, misinformation easily spreads on OSN and is a huge threat for modern society, possibly influencing also the outcome of elections, or even putting people's life at risk (e.g., spreading "anti-vaccines" misinformation). Therefore, it is of paramount importance for our society to have some sort of "validation" on information spreading through OSN. The need for a wide-scale validation would greatly benefit from automatic tools. In this paper, we show that it is difficult to carry out an automatic classification of misinformation considering only structural properties of content propagation cascades. We focus on structural properties, because they would be inherently difficult to be manipulated, with the the aim of circumventing classification systems. To support our claim, we carry out an extensive evaluation on Facebook posts belonging to conspiracy theories (as representative of misinformation), and scientific news (representative of fact-checked content). Our findings show that conspiracy content actually reverberates in a way which is hard to distinguish from the one scientific content does: for the classification mechanisms we investigated, classification F1-score never exceeds 0.65 during content propagation stages, and is still less than 0.7 even after propagation is complete.

연구 동기 및 목표

• 소셜 네트워크에서 콘텐츠 전파 캐스케이드의 구조적 특성이 위성정보를 신뢰성 있게 분류할 수 있는지 평가하는 것.
• 공격자가 조작하기 어려운 것으로 간주되는 이러한 특성이 효과적인 자동 위성정보 탐지에 기여할 수 있는지 평가하는 것.
• 이탈리아의 페이스북에서 음모론 게시물과 검증된 과학 뉴스의 전파 역학을 비교하는 것.
• 초기 단계 또는 최종 단계의 전파 특성이 유의미한 분류 성능을 제공하는지 결정하는 것.
• 에코 챔버와 사용자 분극화가 콘텐츠 유형 간의 구조적 차이를 얼마나 가리키는지 조사하는 것.

제안 방법

• 연구는 이탈리아의 과학 및 음모론 페이지에서 수집한 페이스북 게시물을 공개적으로 이용 가능한 데이터를 통해 페이스북 그래프 API를 통해 분석한다.
• 전파 캐스케이드에서 28개의 구조적 특성(예: 깊이, 폭, 분기 수 등 구조적 특성과 사용자 상호작용 패턴 포함)을 추출한다.
• 비균형 데이터셋과 균형 잡힌 데이터셋(언더샘플링 적용)을 사용해 선형 판별 분석(LD), 랜덤 포레스트(RF), 다층 퍼셉트론(MLP) 등 세 가지 분류기 모델을 훈련한다.
• 성능 평가에는 AUC, 코HEN의 카파, 정밀도, 재현율, 정확도, F1-스코어를 포함한 5겹 교차 검증을 사용한다.
• 분석은 초기 전파 단계와 최종 전파 완료 단계의 두 시점에서 수행되며, 성능을 비교한다.
• 데이터셋의 균형을 맞추고 편향을 줄이기 위해 언더샘플링을 사용하여 분류기 성능 평가의 공정성을 확보한다.

실험 결과

연구 질문

• RQ1 구조적 전파 특성만으로 페이스북에서 위성정보와 사실 기반 과학 콘텐츠를 구분할 수 있는가?
• RQ2 음모론 콘텐츠의 전파 역학은 과학 콘텐츠와 비교해 캐스케이드 구조 측면에서 유의미하게 다를까?
• RQ3 초기 단계의 전파 특성이 콘텐츠가 완전히 퍼지기 전에 위성정보 탐지에 신뢰성 있게 기여할 수 있는가?
• RQ4 에코 챔버와 사용자 분극화가 콘텐츠 전파의 구조적 차이를 얼마나 가리키는가?
• RQ5 전파 기반 분류기의 성능이 무작위 기반 분류보다 유의미하게 뛰어나게 되는가?

주요 결과

• 초기 전파 단계에서는 모든 분류기 중 최고의 F1-스코어가 0.65에 그쳐, 구조적 특성만으로 위성정보를 분류할 능력이 제한적임을 시사한다.
• 전파 완료 후에도 가장 높은 F1-스코어는 0.70 이하에 머물러 무작위 분류보다는 미미한 개선만을 보이며, 성능 향상이 거의 없다는 것을 의미한다.
• AUC와 코헨의 카파 지표는 모두 0.75 이하로 유지되었고, ROC 곡선은 무작위 기준선에 가까워, 분류 성능이 열악함을 나타낸다.
• 랜덤 포레스트(RF)와 다층 퍼셉트론(MLP)은 선형 판별 분석(LD)보다 성능이 뛰어났지만, 여전히 실용적인 분류 성능에 도달하지 못했다.
• 결과적으로 음모론 콘텐츠와 과학 콘텐츠가 유사한 전파 패턴을 따르며, 이는 에코 챔버 역학이 유사한 구조적 캐스케이드를 강화하기 때문일 가능성이 높다.
• 연구는 전파 기반 탐지가 콘텐츠 관련 특성이나 사용자 분극화 지표를 통합하지 않으면 부족하다고 결론 내린다.