[논문 리뷰] Polarization and Fake News: Early Warning of Potential Misinformation Targets

Michela Del Vicario, Walter Quattrociocchi외 2명|arXiv (Cornell University)|2018. 02. 05.

Misinformation and Its Impacts참고 문헌 29인용 수 60

한 줄 요약

저자들은 가짜 뉴스에서 악용될 가능성이 있는 주제를 선제적으로 표시하기 위해 소셜 미디어에서 분극을 일으키는 콘텐츠를 식별하는 일반 프레임워크를 제시하고, 이탈리아 Facebook 데이터에서 주제 수준 정확도 77%, 가짜 뉴스 탐지 특징으로 사용했을 때 정확도 91%로 검증되었다.

ABSTRACT

Users polarization and confirmation bias play a key role in misinformation spreading on online social media. Our aim is to use this information to determine in advance potential targets for hoaxes and fake news. In this paper, we introduce a general framework for promptly identifying polarizing content on social media and, thus, "predicting" future fake news topics. We validate the performances of the proposed methodology on a massive Italian Facebook dataset, showing that we are able to identify topics that are susceptible to misinformation with 77% accuracy. Moreover, such information may be embedded as a new feature in an additional classifier able to recognize fake news with 91% accuracy. The novelty of our approach consists in taking into account a series of characteristics related to users behavior on online social media, making a first, important step towards the smoothing of polarization and the mitigation of misinformation phenomena.

연구 동기 및 목표

• 사용자 분극성과 확증 편향을 활용하여 허위정보를 완화하려는 동기.
• 가짜 뉴스 타깃이 되기 전에 분극적인 주제를 식별하기 위한 일반적이고 플랫폼에 의존하지 않는 프레임워크를 개발.
• 주제를 추출하고 감정을 분석하며, 행동 기반 피처를 도출하고 머신러닝을 적용하여 잠재적 허위정보 타깃을 분류.
• 대규모 이탈리아 Facebook 데이터 세트에서 프레임워크를 시연하고 가짜 뉴스 탐지 정확도 향상을 위한 피처로서의 활용성을 보이기 위함.

제안 방법

• 네 단계 프레임워크: 공식 소스와 가짜 소스에서의 데이터 수집, 주제 추출 및 감정 분석, 피처 정의, 분류.
• 엔티티 수준의 감정 및 주제 피처로 presentation distance, response distance, controversy, perception, captivation를 포함.
• 데이터 밸런싱을 통해 선형회귀, 로지스틱 회귀, SVM, KNN, 신경망, 의사결정 트리 등의 여러 알고리즘을 사용한 지도 분류.
• 논쟁적 엔티티와 비논쟁적 엔티티를 구분하고 잠재적 허위정보 타깃을 식별하기 위한 임계값 기반 피처 구성.
• 정확도, 정밀도, 재현율, F1, FP 비율, AUC를 사용한 평가로 분류기를 비교하고 최적 성능 모델을 선택.

실험 결과

연구 질문

• RQ1 우리는 허위정보에 민감한 분극적 주제를 신속히 식별할 수 있는가?
• RQ2 분극 기반 피처가 향후 허위정보 타깃 예측에 어느 정도 효과적인가?
• RQ3 분극에서 도출된 신호가 가짜 뉴스 탐지 정확도를 향상시키는 유용한 피처가 될 수 있는가?
• RQ4 주제가 허위정보 타깃이 될 가능성을 다른 주제와 구분시키는 핵심 행동 피처는 무엇인가?

주요 결과

• 프레임워크는 77% 정확도(0.73 AUC)로 분극적 주제를 식별한다.
• 피처로 통합되었을 때 가짜 뉴스 탐지 정확도가 91% 정확도(0.94 AUC)로 향상된다.
• Presentation distance와 response distance는 논쟁이 있는 주제를 구분하는 데 가장 강한 피처 중 하나이다.
• 임계값 기반 피처(논쟁성, 인식, 매혹을 제어)가 논쟁적 주제와 비논쟁적 주제를 구분하는 데 도움을 준다.
• 대규모 이탈리아 Facebook 데이터셋에 대한 분석에서 주제가 공식 뉴스에 처음 등장한 시점과 가짜 뉴스에 처음 등장한 시점 사이에 약 24시간이 경과하며, 많은 주제가 두 영역 모두에서 확산된다.