[논문 리뷰] Understanding Types of Users on Twitter

Muhammad Moeen Uddin, Muhammad Imran외 1명|arXiv (Cornell University)|2014. 06. 05.

Spam and Phishing Detection인용 수 24

한 줄 요약

이 논문은 프로필 메타데이터와 트윗 행동 특징을 사용하여 트위터 사용자를 개인, 전문가, 기업, 스팸, 피드/뉴스, 바이럴/마케팅의 여섯 가지 유형으로 분류하는 지도 학습 접근법을 제안한다. 이 방법은 모든 클래스에서 AUC 점수가 0.93 이상을 기록하여 행동 특징과 프로필 특징을 융합하는 것이 트위터에서 사용자 유형 식별에 효과적임을 입증한다.

ABSTRACT

People use microblogging platforms like Twitter to involve with other users for a wide range of interests and practices. Twitter profiles run by different types of users such as humans, bots, spammers, businesses and professionals. This research work identifies six broad classes of Twitter users, and employs a supervised machine learning approach which uses a comprehensive set of features to classify users into the identified classes. For this purpose, we exploit users' profile and tweeting behavior information. We evaluate our approach by performing 10-fold cross validation using manually annotated 716 different Twitter profiles. High classification accuracy (measured using AUC, and precision, recall) reveals the significance of the proposed approach.

연구 동기 및 목표

• 프로필 및 행동 특성에 기반하여 트위터 사용자 유형을 식별하고 분류하는 것.
• 포괄적인 특징 세트를 사용하여 사용자를 사전 정의된 유형으로 자동 분류하는 기계 학습 프레임워크를 개발하는 것.
• 프로필 및 트윗 행동 특징이 트위터에서 사용자 유형을 구분하는 데 얼마나 효과적인지 평가하는 것.
• 마케터, 기관 및 연구자들이 타겟팅된 소셜 미디어 참여를 가능하게 하기 위해 정확한 사용자 분류를 제공하는 기초를 마련하는 것.

제안 방법

• 연구는 무작위로 선정된 716개의 트위터 프로필을 수작업 분석하여 여섯 가지 사용자 유형을 식별한다.
• 프로필 속성(예: 소개글, 웹사이트, 생성일자)과 행동 지표(예: 재트윗 빈도, 응답 비율, 리스트 참여도)를 포함한 총 17개의 특징 세트를 추출한다.
• 특징에는 시간 패턴(예: 주당 트윗 빈도), 네트워크 지표(예: 팔로워 수, 리스트 수), 영향력 측정치(예: 팔로워 수, 좋아요 수, 리스트 수의 합을 통한 집단적 영향력) 등이 포함된다.
• 수동으로 주석 처리된 데이터를 기반으로 10겹 교차 검증을 사용하여 배깅을 적용한 랜덤 포레스트 분류기를 훈련한다.
• 다양한 특징 간 척도 일관성을 확보하기 위해 훈련 전 특징 값에 정규화를 적용한다.
• 정밀도, 재현율, F-측정값 및 AUC를 사용하여 성능을 평가하며, 불균형 데이터 설정에서의 강건성 때문에 AUC를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 프로필 및 행동 특성에 기반하여 트위터에 존재하는 구체적인 사용자 유형은 무엇인가?
• RQ2 프로필 및 트윗 행동 특징의 어떤 조합이 트위터에서 다양한 사용자 유형을 가장 잘 구분하는가?
• RQ3 이러한 특징을 사용하여 지도 학습 모델이 트위터 사용자를 사전 정의된 유형으로 얼마나 정확하게 분류할 수 있는가?
• RQ4 특히 희귀한 사용자 유형에 대해 분류 성능가 어떻게 달라지는가?

주요 결과

• 제안된 모델은 모든 여섯 가지 사용자 유형에서 AUC 점수가 0.93를 초과하여 높은 분류 정확도를 달성했다.
• 가장 높은 AUC는 기업 사용자(0.990)에서 기록되었고, 이어 전문가 사용자(0.970)에서 높은 분류 성능를 보였다.
• 스팸 및 피드/뉴스 사용자 유형은 약간 낮은 AUC 점수(각각 0.936 및 0.934)를 기록했지만 여전히 강력한 성능를 보였다. 이는 이 유형들을 구분하는 데 어려움이 있음을 반영한다.
• 전문가 및 기업 사용자에 대해 정밀도는 0.87 이상, 재현율은 0.93 이상을 기록하여 이 유형을 식별하는 데 높은 신뢰성을 보였다.
• 피드/뉴스 유형에 대해서는 F-측정값이 0.468로 낮게 나타나 이 카테고리의 특징에 모호성 또는 중첩이 존재할 가능성을 시사한다.
• 전반적으로 분류기는 높은 AUC를 통해 모든 클래스에서 강력한 일반화 성능를 보였으며, 선택된 특징 세트의 중요성을 입증했다.