[논문 리뷰] The Follower Count Fallacy: Detecting Twitter Users with Manipulated Follower Count

Anupama Aggarwal, Saravana Kumar외 2명|arXiv (Cornell University)|2018. 02. 10.

Spam and Phishing Detection참고 문헌 24인용 수 4

한 줄 요약

이 논문은 시간적 및 행동 특성 기반의 국소적 이웃 모델을 사용하여 '진정한' 팔로워 수를 추정함으로써, 인위적으로 조작된 팔로워 수를 가진 트위터 사용자를 비지도 방식으로 탐지하는 방법을 제안한다. 이 방법은 팔로워 수 예측에 84.2%의 정확도를 달성하고, 예측된 값에서의 편차를 측정하여 조작된 사용자를 98.62%의 정밀도로 탐지하며, 암시장 서비스에서 유도된 인위적 팔로워 증가에 대해 매우 높은 내성을 보인다.

ABSTRACT

Online Social Networks (OSN) are increasingly being used as platform for an effective communication, to engage with other users, and to create a social worth via number of likes, followers and shares. Such metrics and crowd-sourced ratings give the OSN user a sense of social reputation which she tries to maintain and boost to be more influential. Users artificially bolster their social reputation via black-market web services. In this work, we identify users which manipulate their projected follower count using an unsupervised local neighborhood detection method. We identify a neighborhood of the user based on a robust set of features which reflect user similarity in terms of the expected follower count. We show that follower count estimation using our method has 84.2% accuracy with a low error rate. In addition, we estimate the follower count of the user under suspicion by finding its neighborhood drawn from a large random sample of Twitter. We show that our method is highly tolerant to synthetic manipulation of followers. Using the deviation of predicted follower count from the displayed count, we are also able to detect customers with a high precision of 98.62%

연구 동기 및 목표

• 암시장 서비스를 통해 인위적으로 팔로워 수를 증가시키는 트위터 사용자를 탐지하기 위해.
• 사용자의 사회적 이웃 기반으로 현실적이고 조작에 강한 팔로워 수를 추정하기 위해.
• 예측 방법이 인위적 팔로워 조작에 대해 얼마나 내성을 가지는지 평가하기 위해.
• 팔로워 조작이 Klout와 같은 影響 지표에 미치는 영향과 팔로워 수 추정의 신뢰성 평가하기 위해.
• 기본 팔로워 수에 대한 지표에 의존하지 않는 강력한 비지도 탐지 프레임워크 제공하기 위해.

제안 방법

• 시간적 서명(예: 게시 빈도 및 폭발적 패턴 등)을 사용하여 사용자의 국소적 이웃을 식별하며, 이러한 서명은 위조하기 어려운 특성이다.
• 대규모 랜덤 샘플의 트위터 사용자들로부터 유사한 사회적 지위, 시간적 행동 및 사회적 서명 특성을 가진 사용자를 군집화하여 이웃을 형성한다.
• 팔로워 수 예측 모델은 사용자의 이웃의 중앙값 또는 평균 팔로워 수를 기반으로 진정한 팔로워 수를 추정한다.
• 예측된 팔로워 수와 표시된 팔로워 수 간의 편차를 조작 탐지 신호로 사용한다.
• 내성 평가를 위해 드럼 계정을 대상으로 인위적 팔로워 조작을 시뮬레이션하고, 예측된 팔로워 수 변화와 Klout와 같은 영향 지표 변화를 측정한다.
• 내성 지표는 실제 변화량 대비 예측 변화량의 비율로 정의되며, 0.0은 완벽한 내성, 1.0은 내성이 전혀 없는 상황을 의미한다.

실험 결과

연구 질문

• RQ1 시간적 서명을 사용하여 인위적 팔로워 증가를 가진 사용자를 신뢰성 있게 식별할 수 있는가?
• RQ2 이웃 기반 팔로워 수 추정 방법은 암시장 팔로워 서비스의 조작에 얼마나 저항할 수 있는가?
• RQ3 조작된 팔로워 수를 가진 사용자의 진정한 팔로워 수를 얼마나 정확하게 예측할 수 있는가?
• RQ4 인위적 팔로워 증가 상황에서 예측된 팔로워 수는 Klout와 같은 기존 영향 지표와 어떻게 비교되는가?
• RQ5 예측된 팔로워 수에서의 편차는 인위적으로 팔로워를 구매한 사용자를 신뢰성 있게 탐지하는 데 유용한 신호가 될 수 있는가?

주요 결과

• 표시된 수치에서 ±100명의 허용 오차를 허용할 경우, 팔로워 수 예측 방법은 84.2%의 정확도를 달성한다.
• 이 방법은 조작에 매우 높은 내성을 보이며, 실제 고객 대상으로 평균 예측 팔로워 수 변화는 0.10에 불과하지만, Klout 점수는 평균 0.47 증가한다.
• 프리미엄 암시장 서비스를 통해 생성된 드럼 계정의 경우, 예측 팔로워 수 변화는 평균 0.011에 불과하지만, Klout 점수는 평균 0.32 증가한다.
• 예측된 팔로워 수와 표시된 팔로워 수 간의 편차 기준 10% 이내일 경우, 조작된 팔로워 수를 가진 사용자를 98.62%의 정밀도로 탐지할 수 있다.
• 예측된 팔로워 수는 조작 상황에서도 안정성을 유지하지만, Klout와 같은 영향 지표는 인위적 팔로워 증가에 매우 민감하게 반응한다.
• 팔로워 수 그룹(G1: ≤1000, G2: 1000–10,000, G3: ≥10,000) 간에서 효과적이며, 사용자 규모에 관계없이 일관된 성능을 보인다.