[논문 리뷰] Manipulation and abuse on social media

Emilio Ferrara|arXiv (Cornell University)|2015. 03. 12.

Misinformation and Its Impacts참고 문헌 32인용 수 64

한 줄 요약

이 논문은 가짜 정보, 조작된 봇 활동, 공포 조장과 같은 사회적 미디어 남용의 체계적 위험을 실제 사례 연구를 통해 분석한다. 2013년 AP 트위터 해킹 사례와 Cynk 주식 조작 사례를 포함한다. 유해 콘텐츠 탐지, 사회적 봇 식별, 위기 상황에서 공포와 가짜 정보의 확산을 모델링하기 위한 계산 기반 프레임워크를 제안하여 조기에 대응하고 플랫폼의 안전성을 향상시킨다.

ABSTRACT

The computer science research community has became increasingly interested in the study of social media due to their pervasiveness in the everyday life of millions of individuals. Methodological questions and technical challenges abound as more and more data from social platforms become available for analysis. This data deluge not only yields the unprecedented opportunity to unravel questions about online individuals' behavior at scale, but also allows to explore the potential perils that the massive adoption of social media brings to our society. These communication channels provide plenty of incentives (both economical and social) and opportunities for abuse. As social media activity became increasingly intertwined with the events in the offline world, individuals and organizations have found ways to exploit these platforms to spread misinformation, to attack and smear others, or to deceive and manipulate. During crises, social media have been effectively used for emergency response, but fear-mongering actions have also triggered mass hysteria and panic. Criminal gangs and terrorist organizations like ISIS adopt social media for propaganda and recruitment. Synthetic activity and social bots have been used to coordinate orchestrated astroturf campaigns, to manipulate political elections and the stock market. The lack of effective content verification systems on many of these platforms, including Twitter and Facebook, rises concerns when younger users become exposed to cyber-bulling, harassment, or hate speech, inducing risks like depression and suicide. This article illustrates some of the recent advances facing these issues and discusses what it remains to be done, including the challenges to address in the future to make social media a more useful and accessible, safer and healthier environment for all users.

연구 동기 및 목표

• 가짜 정보, 조작된 협력 행위, 공포 조장과 같은 사회적 미디어 남용의 사회적 및 경제적 영향을 분석하기 위해.
• 합성 계정과 조작된 캠페인을 통해 사회적 미디어 플랫폼이 대규모 조작을 가능하게 하는 방식을 규명하기 위해.
• 위기 상황에서 공포와 당혹감과 같은 정서적 콘텐츠가 검증되지 않은 정보의 확산을 가속화하는 역할을 이해하기 위해.
• 유해 콘텐츠, 사회적 봇, 계획적 캠페인을 탐지하기 위한 계산 도구를 개발하여 정책 및 대응 설계를 지원하기 위해.
• 젊은 사용자가 사이버 불링, 혐오 발언, 정신 건강 위험에 더 취약한 이유를 다루기 위해.

제안 방법

• 2013년 AP 트위터 해킹과 Cynk 주식 급등 사례를 분석하여 가짜 정보가 금융 시장에 끼치는 영향을 연구한다.
• 네트워크 분석과 시간적 패턴 탐지를 활용해 소셜 미디어 플랫폼 내에서 정보와 정서적 콘텐츠(예: 공포, 우려)의 확산을 추적한다.
• 감성, 재트윗 패턴, 네트워크 중심성 등의 차원에서 위기 관련 콘텐츠의 특징을 추출하여 콘텐츠를 인식 유도 또는 공포 유도로 분류한다.
• 커뮤니티 탐지 알고리즘을 활용해 위기 상황에서 정보나 공포를 확산시키는 주요 주제 클러스터와 영향력 있는 계정을 식별한다.
• 계산 모델을 활용해 가짜 정보와 공포를 담은 콘텐츠의 확산을 시뮬레이션하고 예측함으로써 유해 캠페인을 조기에 탐지할 수 있도록 한다.
• 사용자 취약도, 인구 통계학적 특성, 소통 패턴을 바탕으로 타겟팅된 개입 캠페인 설계 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 봇을 포함한 조작된 소셜 미디어 캠페인은 금융 시장과 대중 여론을 어떻게 조작하는가?
• RQ2 에볼라나 테러 공격과 같은 위기 상황에서 대규모 공포를 유발하는 정서적 콘텐츠의 구조적 및 행동적 지표는 무엇인가?
• RQ3 계산 기반 탐지 방법이 아스트로트러핑 또는 선전에 관여한 합성 활동과 봇 네트워크를 얼마나 정확하게 식별할 수 있는가?
• RQ4 미디어와 공식 통신은 위기 상황에서 대중의 정서적 반응(예: 인지 vs. 공포)에 어떤 영향을 미치는가?
• RQ5 가짜 정보와 공포의 상호 강화 사이클을 효과적으로 차단하기 위해 어떤 기술적 및 정책적 조치가 필요한가?

주요 결과

• 2013년 AP 트위터 해킹으로 인해 다우존스 지수가 3분 이내로 147포인트 하락했고, 시가총액이 1360억 달러 감소하여 소셜 미디어 가짜 정보가 실질적인 경제적 영향을 미칠 수 있음을 입증했다.
• Cynk 주식 급등은 주로 봇과 스팸 계정을 통한 인위적 소셜 미디어 홍보로 인해 발생했으며, 이는 조작된 시장 조작의 증거로 볼 수 있다.
• 위기 상황에서 공포를 담은 콘텐츠는 사실 정보보다 더 빠르고 넓게 퍼지며, 특히 영향력 있는 계정을 통해 재트윗과 언급을 통해 바이러스적으로 퍼진다.
• 정보 필요성과 정서적 반응(예: 우려, 의심)은 네트워크 중심성과 감성 분석을 통해 정량화할 수 있으며, 이는 공포가 주제 기반 커뮤니티 전반에서 어떻게 확산되는지를 드러낸다.
• 가짜 정보의 확산은 자기 강화 구조를 가진다: 공포는 진실과 과장 사이의 판단을 둔화시켜 검증되지 않은 콘텐츠의 확산을 증가시킨다.
• 봇 활동, 감성 변화, 확산 패턴을 탐지할 수 있는 계산 프레임워크는 위기 상황에서 피해를 최소화하기 위한 조기에 대응 가능한 타겟팅 개입을 지원할 수 있다.