[논문 리뷰] An Information Diffusion Approach to Rumor Propagation and Identification on Twitter

Abiola Osho, Caden Waters외 1명|arXiv (Cornell University)|2020. 02. 24.

Misinformation and Its Impacts참고 문헌 17인용 수 5

한 줄 요약

이 논문은 잠재적 메시지 특성과 사용자 상호작용 역학을 분석하여 트위터에서 루머를 예측하고 식별하기 위한 마이크로 수준의 정보 확산 모델을 제안한다. 실제 트위터 데이터를 바탕으로 베이지안 로지스틱 회귀와 랜덤 포레스트 특성 선택을 적용한 결과, 진실된 메시지와 거짓 메시지의 확산을 예측하는 데 90%의 정확도를 달성하였으며, 확산 패턴이 신뢰성 검출에 핵심적인 역할을 한다.

ABSTRACT

With the increasing use of online social networks as a source of news and information, the propensity for a rumor to disseminate widely and quickly poses a great concern, especially in disaster situations where users do not have enough time to fact-check posts before making the informed decision to react to a post that appears to be credible. In this study, we explore the propagation pattern of rumors on Twitter by exploring the dynamics of microscopic-level misinformation spread, based on the latent message and user interaction attributes. We perform supervised learning for feature selection and prediction. Experimental results with real-world data sets give the models' prediction accuracy at about 90\% for the diffusion of both True and False topics. Our findings confirm that rumor cascades run deeper and that rumor masked as news, and messages that incite fear, will diffuse faster than other messages. We show that the models for True and False message propagation differ significantly, both in the prediction parameters and in the message features that govern the diffusion. Finally, we show that the diffusion pattern is an important metric in identifying the credibility of a tweet.

연구 동기 및 목표

• 트위터에서 진실된 정보와 거짓 정보의 전파 역학 간의 미시적 차이를 조사하기 위해.
• 오해의 소지가 있는 메시지와 사용자 상호작용 특성 중 확산에 영향을 주는 핵심 요소를 식별하기 위해.
• 전파 행동에 기반하여 진실된 내용과 거짓된 내용을 구분할 수 있는 예측 모델을 개발하기 위해.
• 확산 패턴이 트윗의 신뢰성 식별에 유용한 지표로 사용될 수 있는지 평가하기 위해.
• 다양한 주제와 신뢰성 수준에 적용 가능한 이식 가능한 루머 탐지 모델을 구축하기 위해.

제안 방법

• Snopes를 기준 참조로 삼아 진실 또는 거짓으로 분류된 주제에 대한 실제 트위터 데이터 수집.
• 트위터 API를 통해 17개의 사용자 수준 특성(3개의 네트워크, 14개의 상호작용)과 24개의 메시지 수준 특성(10개의 관측 가능, 14개의 잠재적) 추출.
• 각 팔로워가 공유된 게시물에 반응했는지 여부에 따라 확산 레이블(확산됨 또는 아님)을 할당.
• 확산에 영향을 주는 주요 예측 변수를 식별하기 위해 랜덤 포레스트를 활용한 특성 중요도 순위 매기기.
• 상위 20개 특성에 기반하여 베이지안 로지스틱 회귀 모델을 훈련하여 트윗에 대한 사용자 반응(확산)을 예측.
• 확산 레이블을 입력 특성로 포함시켜 확산 행동을 기반으로 트윗의 신뢰성을 예측할 수 있도록 모델 확장.

실험 결과

연구 질문

• RQ1 트위터에서 진실된 정보와 거짓 정보의 전파 과정에서 잠재적 메시지 특성과 사용자 상호작용 패턴은 어떻게 다를까?
• RQ2 메시지 및 상호작용 특성 중에서 사용자가 루머에 반응할 가능성을 가장 크게 영향을 주는 요소는 무엇인가?
• RQ3 사용자 반응 행동으로 측정된 트윗의 확산 패턴은 그 신뢰성에 대한 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ4 특정 주제나 신뢰성 유형에 관계없이 모델의 일반화 능력은 어떠한가? 특히 미리 보지 않은 데이터로 테스트했을 때 어떻게 되는가?
• RQ5 메시지 특성만을 사용할 때와 비교해 확산 상태를 포함시키면 신뢰성 예측 정확도가 얼마나 향상되는가?

주요 결과

• 진실된 콘텐츠의 확산 예측에 대해 F1 스코어가 91.6%로, 거짓 콘텐츠의 경우 89.9%로 나타나 강력한 예측 성능을 보였다.
• 뉴스처럼 보이게 꾸며진 루머와 공포를 자극하는 루머는 정서 극성과 관계없이 다른 메시지보다 더 빠르고 깊이 있게 퍼진다.
• 트윗의 확산 패턴은 그 신뢰성에 대한 중요한 예측 변수이며, 확산 특성을 포함시켰을 경우 신뢰성 식별 정확도가 91%에 이르렀다.
• 확산 레이블을 제외시켰을 경우, 신뢰성 예측 정확도는 82%로 떨어졌으며, 이는 확산 역학이 신뢰성 평가에 핵심적인 역할을 한다는 것을 입증한다.
• 진실된 메시지와 거짓 메시지의 전파에 있어 핵심 예측 특성과 기반 확산 메커니즘이 뚜렷하게 다름을 확인하였다.
• 사회적 유사성과 혼합 정서는 두 모델 모두에서 강력한 예측 변수로 나타났으며, 이는 사용자가 정서의 성향과 관계없이 유사한 생각을 가진 사람들로부터 온 콘텐츠에 더 많이 반응할 가능성이 높다는 것을 시사한다.