[논문 리뷰] Followers or Phantoms? An Anatomy of Purchased Twitter Followers

Anupama Aggarwal, Ponnurangam Kumaraguru|arXiv (Cornell University)|2014. 08. 07.

Spam and Phishing Detection참고 문헌 19인용 수 16

한 줄 요약

이 연구는 암시장에서 구매한 트위터 팔로워를 분석하여 정상 사용자와 구별되는 행동 및 프로필 특성을 규명한다. 행동 특징—특히 언팔로우 엔트로피—를 활용한 지도 학습을 통해 88.2%의 정확도로 의심스러운 팔로우 행동을 탐지하며, 가짜 팔로워 네트워크의 핵심 지표를 드러낸다.

ABSTRACT

Online Social Media (OSM) is extensively used by contemporary Internet users to communicate, socialize and disseminate information. This has led to the creation of a distinct online social identity which in turn has created the need of online social reputation management techniques. A significant percentage of OSM users utilize various methods to drive and manage their reputation on OSM. This has given rise to underground markets which buy/sell fraudulent accounts, `likes', `comments' (Facebook, Instagram) and `followers' (Twitter) to artificially boost their social reputation. In this study, we present an anatomy of purchased followers on Twitter and their behaviour. We illustrate in detail the profile characteristics, content sharing and behavioural patterns of purchased follower accounts. Previous studies have analyzed the purchased follower markets and customers. Ours is the first study which analyzes the anatomy of purchased followers accounts. Some of the key insights of our study show that purchased followers have a very high unfollow entropy rate and low social engagement with their friends. In addition, we noticed that purchased follower accounts have significant difference in their interaction and content sharing patterns in comparison to random Twitter users. We also found that underground markets do not follow their service policies and guarantees they provide to customer. Our study highlights the key identifiers for suspicious follow behaviour. We then built a supervised learning mechanism to predict suspicious follower behaviour with 88.2% accuracy. We believe that understanding the anatomy and characteristics of purchased followers can help detect suspicious follower behaviour and fraudulent accounts to a larger extent.

연구 동기 및 목표

• 암시장에서 확보한 트위터 팔로워의 행동, 프로필, 콘텐츠 공유 특성에 대해 이해한다.
• 가짜 팔로워와 정상 사용자를 구별하는 특징을 규명한다.
• 의심스러운 팔로우 행동을 높은 정확도로 탐지할 수 있는 지도 학습 모델을 개발한다.
• 시장에서 제시하는 팔로워 품질 및 유지 보존에 대한 약속의 신뢰성을 평가한다.
• 트위터에서 위조 팔로워 네트워크를 탐지하기 위한 실용적인 지표를 제공한다.

제안 방법

• 자격 증명 유출을 방지하기 위해 노팔로우백 방식을 사용해 암시장에서 구매한 팔로워 계정을 확보한다.
• 프로필 속성(예: 소개글, 프로필 이미지, 언어)과 행동 특징(예: 언팔로우 빈도, RT 및 @멘션 참여 비율)을 추출한다.
• 시간에 따라 비정상적인 언팔로우 행동을 정량화하기 위해 '언팔로우 엔트로피'를 지표로 정의한다.
• 70-30 분할과 10겹 교차 검증을 사용해 SVM(서포트 벡터 머신) 모델을 학습시키며, RBF 커널을 적용한다.
• 프로필, 행동, 콘텐츠 기반 특징 세트를 단계적으로 추가하여 각 특징 세트의 개별 및 통합적 영향을 평가한다.
• 정확도, F1 점수, AUC와 같은 표준 지표와 혼동 행렬 분석을 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 암시장에서 확보한 트위터 팔로워는 정상 사용자와 비교해 어떤 프로필 및 행동 특징을 가지는가?
• RQ2 구매한 팔로워는 무작위 트위터 사용자와 비교해 콘텐츠 공유 및 상호작용 패턴에서 어떻게 다를까?
• RQ3 암시장는 팔로워 품질 및 유지 보존에 대해 약속한 바를 얼마나 잘 이행하는가?
• RQ4 의심스러운 팔로우 행동을 식별하는 데 가장 효과적인 행동 특징은 무엇인가?
• RQ5 측정 가능한 사용자 속성을 기반으로 한 지도 학습 모델이 의심스러운 팔로우 행동을 정확하게 분류할 수 있는가?

주요 결과

• 구매한 팔로워는 높은 언팔로우 엔트로피를 보이며, 이는 자주 발생하고 비정상적인 계정 언팔로우 행동을 의미한다. 이는 정상 사용자에게서는 흔하지 않은 행동이다.
• 이 계정들은 친구들과의 사회적 참여도가 크게 낮으며, RT 및 @멘션 참여 비율도 낮다.
• 연구 결과 암시장에서 약속한 고품질, 활동성, 장기 유지 팔로워를 일관되게 제공하지는 않는 것으로 나타났다.
• 지도 학습 모델은 의심스러운 팔로우 행동 탐지에 88.2%의 정확도를 달성했으며, 행동 특징에서 가장 높은 성능 향상을 보였다.
• 언팔로우 엔트로피, RT-참여 비율, @멘션-참여 비율, 언어 일치도, 사회적 평판 등이 탐지에 가장 유용한 특징이었다.
• 프로필 기반 특징(예: 소개글, 프로필 이미지)은 의심스러운 행동 식별에 가장 효과적이지 않았으며, 이는 정상 계정에서 사용자 생성 콘텐츠가 희박하거나 존재하지 않기 때문이다.