[논문 리뷰] Online Human-Bot Interactions: Detection, Estimation, and Characterization

Onur Varol, Emilio Ferrara외 3명|arXiv (Cornell University)|2017. 03. 09.

Spam and Phishing Detection인용 수 236

한 줄 요약

공개 데이터에서 1,150개 특징을 사용하여 트위터 봇을 탐지하는 프레임워크로, 높은 정확도를 달성하고 봇의 유병률을 9%에서 15% 사이로 추정합니다.

ABSTRACT

Increasing evidence suggests that a growing amount of social media content is generated by autonomous entities known as social bots. In this work we present a framework to detect such entities on Twitter. We leverage more than a thousand features extracted from public data and meta-data about users: friends, tweet content and sentiment, network patterns, and activity time series. We benchmark the classification framework by using a publicly available dataset of Twitter bots. This training data is enriched by a manually annotated collection of active Twitter users that include both humans and bots of varying sophistication. Our models yield high accuracy and agreement with each other and can detect bots of different nature. Our estimates suggest that between 9% and 15% of active Twitter accounts are bots. Characterizing ties among accounts, we observe that simple bots tend to interact with bots that exhibit more human-like behaviors. Analysis of content flows reveals retweet and mention strategies adopted by bots to interact with different target groups. Using clustering analysis, we characterize several subclasses of accounts, including spammers, self promoters, and accounts that post content from connected applications.

연구 동기 및 목표

• 광범위한 공개 데이터와 메타데이터를 활용하여 트위터의 소셜 봇 계정을 탐지하는 확장 가능한 프레임워크를 개발한다.
• 데이터셋, 모델, 진화하는 봇 고도화에 걸친 탐지 정확도를 평가한다.
• 대규모 영어권 트위터 인구에서 봇 유사 계정의 유병률을 추정한다.
• 사람 계정과 봇 유사 계정 간의 사회적 연결성, 정보 흐름 및 행동 군집을 특징지은다.

제안 방법

• 여섯 가지 특징 클래스에 걸쳐 사용자 메타데이터, 콘텐츠, 네트워크 구조, 타이밍에서 1,150개의 특징을 추출한다.
• 감독 학습 분류기(Random Forest, AdaBoost, 로지스틱 회귀, 의사결정 트리)를 학습시키고 AUC로 최적 모델을 선택하며, Random Forest가 0.95 AUC를 달성한다.
• 일반화 테스트를 위해 봇/사람 계정의 수동 라벨링 데이터를 사용해 학습 데이터를 주석화하고 확장한다.
• 허니팟 봇 데이터와 최근 계정의 수동 주석 데이터를 이용해 모델을 평가하고, 데이터 간 성능과 임계값 선택을 평가한다.
• 수동으로 주석된 데이터의 십분위(decile)별 분류 정확도를 최대화하여 봇 스코어 임계값을 계산한다.

실험 결과

연구 질문

• RQ1 다수의 특징 기반 감독 학습 모델이 트위터에서 봇과 인간을 정확하게 구분할 수 있는가?
• RQ2 봇 고도화가 어떻게 진화하며, 이것이 데이터셋 전반의 모델 성능에 어떤 영향을 미치는가?
• RQ3 대규모 영어권 트위터 인구에서 봇 유사 계정의 추정 유병률은 무엇인가?
• RQ4 사람 계정과 봇 유사 계정 간의 사회적 연결성 및 정보 흐름의 패턴은 무엇인가?
• RQ5 계정들 사이에서 어떤 행동적 군집이 나타나며 각 군집의 특징은 무엇인가?

주요 결과

• 대규모 특징 프레임워크는 높은 탐지 성능을 보이며, honeypot 데이터에서 Random Forest로 0.95 AUC를 달성.
• 수동으로 주석된 데이터에서 정확도는 봇 스코어 낮은 분위에서 90% 이상, 도전적인 중간 범위에서 60–80%로 나타나며, 인구 비중으로 가중치가 부여될 때 전체 정확도는 86%이다.
• 봇 유병률은 훈련 데이터와 임계값 선택에 따라 9%에서 15% 사이로 추정된다.
• 사람은 주로 사람을 팔로우하고 사람에게 의해 팔로우되며 일부 정교한 봇에 의해 팔로우되지만, 봇은 봇 간 상호작용을 선호하고 상호성(reciprocity)이 낮다.
• 클러스터링은 열 가지 행동 코호트를 드러내며, 주목할 만한 군집으로는 채용자/스팸 계정, 연결된 앱에서 게시하는 계정, 혼합 봇/사람(사이보그) 계정이 있다.