[논문 리뷰] It Doesn't Break Just on Twitter. Characterizing Facebook content During Real World Events

Prateek Dewan, Ponnurangam Kumaraguru|arXiv (Cornell University)|2014. 05. 19.

Misinformation and Its Impacts참고 문헌 23인용 수 4

한 줄 요약

이 연구는 16宗의 실제 사건 동안 페이스북과 트위터의 콘텐츠를 비교하여, 공개된 페이스북 콘텐츠의 30.56%가 동시에 트위터에도 게시되었으며, 페이스북은 평균 12분 이내로 뉴스를 보도하는 것으로 나타났다. 스타일리스틱 특징을 활용해 페이스북에서는 99% 이상, 트위터에서는 98% 이상의 정확도로 스팸을 분류했으며, 이는 비공개 설정이 기본인 페이스북에서도 콘텐츠의 중복성과 실시간 확산 잠재력이 높다는 것을 시사한다.

ABSTRACT

Multiple studies in the past have analyzed the role and dynamics of the Twitter social network during real world events. However, little work has explored the content of other social media services, or compared content across two networks during real world events. We believe that social media platforms like Facebook also play a vital role in disseminating information on the Internet during real world events. In this work, we study and characterize the content posted on the world's biggest social network, Facebook, and present a comparative analysis of Facebook and Twitter content posted during 16 real world events. Contrary to existing notion that Facebook is used mostly as a private network, our findings reveal that more than 30% of public content that was present on Facebook during these events, was also present on Twitter. We then performed qualitative analysis on the content spread by the most active users during these events, and found that over 10% of the most active users on both networks post spam content. We used stylometric features from Facebook posts and tweet text to classify this spam content, and were able to achieve an accuracy of over 99% for Facebook, and over 98% for Twitter. This work is aimed at providing researchers with an overview of Facebook content during real world events, and serve as basis for more in-depth exploration of its various aspects like information quality, and credibility during real world events.

연구 동기 및 목표

• 실제 사건 발생 시 페이스북이 공개 정보의 중요한 원천이 되는지 여부를 조사하여, 그가 주로 비공개 네트워크로 간주되는 데 도전한다.
• 주요 글로벌 사건 기간 동안 페이스북과 트위터의 콘텐츠, 시간대, 정보 확산 특성의 차이를 비교한다.
• 양 플랫폼에서의 스팸 행동을 분석하고, 오직 텍스트 스타일리스틱 특징만을 사용해 스팸을 탐지할 수 있는지 평가한다.
• 위기 상황에서 페이스북이 트위터 수준의 신뢰성 있고 시의적인 정보 원천이 될 잠재력을 평가한다.

제안 방법

• 이벤트별 데이터 수집 프레임워크를 활용해 16宗의 실제 사건 기간 동안 공개 가능한 페이스북 및 트위터 콘텐츠를 수집했다.
• 콘텐츠의 겹침과 시간적 동역학을 비교하기 위해 두 플랫폼의 텍스트 콘텐츠, 해시태그, URL을 추출하고 분석했다.
• 게시물에서 추출한 단어 빈도, 구두점 사용, 문자 수준의 패턴 등의 스타일리스틱 특징을 활용해 스팸 탐지 분류기 모델을 훈련시켰다.
• 오직 텍스트 특징만을 사용해 지도 학습 모델을 적용하여 두 네트워크에서 스팸을 높은 정확도로 분류했다.
• 콘텐츠 및 스팸 게시물의 시간적 패턴을 분석해 두 플랫폼에서의 급격한 게시 패턴과 자동화된 행동을 탐지했다.
• 콘텐츠 확산 및 스팸 전파 메커니즘을 이해하기 위해 최우선 활동 사용자에 대한 정성적 분석을 수행했다.

실험 결과

연구 질문

• RQ1 실제 사건 기간 동안 페이스북의 공개 콘텐츠가 트위터 콘텐츠와 얼마나 겹치는가?
• RQ2 트위터에 비해 페이스북은 실제 사건에 대해 얼마나 빨리 정보를 확산하는가?
• RQ3 실제 사건 기간 동안 페이스북의 스팸 콘텐츠는 얼마나 퍼져 있으며, 그 성격은 무엇이며, 트위터와 비교해 어떻게 다른가?
• RQ4 오직 스타일리스틱 특징만을 사용해 페이스북과 트위터에서 스팸을 정확하게 탐지할 수 있는가?
• RQ5 주요 사건 기간 동안 최우선 활동 사용자의 행동 패턴은 페이스북과 트위터에서 어떻게 다른가?

주요 결과

• 16宗의 실제 사건 기간 동안 공개된 페이스북 콘텐츠 중 30.56%가 동시에 트위터에도 게시되었으며, 이는 두 플랫폼 간에 상당한 콘텐츠 겹침이 있음을 시사한다.
• 페이스북은 사건 발생 후 평균 11.2분 이내로 비정상적인 사건의 뉴스를 보도했으며, 이는 이전에 보고된 트위터의 뉴스 타임라인보다 빠른 것으로 확인되었다.
• 연구 기간 동안 가장 활동적인 사용자 중 10% 이상이 페이스북과 트위터 양쪽에서 스팸 콘텐츠를 게시했다.
• 오직 스타일리스틱 특징만을 사용한 스팸 탐지에서 페이스북은 99.1%의 정확도, 트위터는 98.3%의 정확도를 기록해, 텍스트 기반 분류의 높은 효과성을 입증했다.
• 페이스북의 스팸은 급격한 게시 패턴을 보였고, 트위터의 스팸은 더 일관되고 자동화된 게시 패턴을 보여, 각 플랫폼에서 다른 스팸 전략이 사용되고 있음을 시사한다.
• 페이스북의 기본 비공개 설정에도 불구하고, 공개 가능한 콘텐츠의 양(1.33억 건/일)은 트위터의 양(5억 건/일)을 압도적으로 초월해, 사건 기간 동안 풍부한 정보 자원이 될 수 있다.