[논문 리뷰] On-the-fly Detection of Autogenerated Tweets

Jonas Lundberg, Jonas Nordqvist외 1명|arXiv (Cornell University)|2018. 02. 04.

Spam and Phishing Detection참고 문헌 23인용 수 3

한 줄 요약

이 논문은 실시간 트위터 스트림에서 자동 생성 트윗(AGT)을 실시간으로 탐지하기 위한 이중 분류기 시스템을 제안한다. 이는 사용자 프로필 데이터 없이 트윗 텍스트와 메타데이터(비-프로필 분류기) 또는 사용자 타임라인 데이터를 보완한(프로필 분류기) 방식을 사용한다. 이 방법은 AGT 탐지에서 98%의 정확도를 달성하였으며, 프로필 분류기가 비-프로필 분류기보다는 미미한 성능 향상을 보였기에, 일부 경우에서는 지연을 줄이기 위해 사용자 타임라인 다운로드를 피할 수 있음을 시사한다.

ABSTRACT

Most previous work related to tweet classification have focused on identifying a given tweet as a spam, or to classify a Twitter user account as a spammer or a bot. In most cases the tweet classification has taken place offline, on a pre-collected dataset of tweets. In this paper we present an \emph{on-the-fly} approach to classify each newly downloaded tweet as \emph{autogenerated} or not. We define an autogenerated tweet (AGT) as a tweet where all or parts of the natural language content is generated automatically by a bot or other type of program. Our on-the-fly approach makes use of two classifiers. The first classifies a tweet solely based on the twitter text and the tweet metadata that comes with every tweet. It is used for tweets posted by unknown users with no available tweet history. An unknown user also triggers a batch job to start downloading the missing user timeline information. The second classifier is used for tweets posted by a user where the user timeline is downloaded and available. Initially, it will be the first classifier that handles most of the tweets. This will gradually change and after an initialization phase where we download historic data for the most active users, we reach a state where the second classifier handles a vast majority of all the tweets. A simulation using our on-the-fly detection mechanism indicates that we can handle Twitter streams with up to 68,000 unique users each day. The bottleneck is the time required to download new user timelines. The AGT detection is very accurate. In a set of 5,000 tweets we correctly classified about 98\% of all AGTs using a subject-wise cross-validation.

연구 동기 및 목표

• 트위터 스트림에서 봇이나 자동화된 프로그램에 의해 생성된 트윗(자동 생성 트윗, AGT)을 실시간으로 탐지하기 위한 실시간, 즉각적인 시스템 개발.
• 역사적 사용자 데이터(예: 사용자 타임라인)가 필요하지만 실시간으로 확보하기에 너무 느린 상황에서 AGT를 분류하는 데 도전하는 것.
• 다운로드된 사용자 타임라인 데이터를 포함하는 보다 복잡한 분류기와는 대비하여, 트윗 메타데이터와 텍스트만을 사용하는 경량 분류기가 성능을 동일하게 유지할 수 있는지 평가하는 것.
• 고속도 트위터 스트림 처리 시스템의 확장성과 성능 저하 요인을 식별하기 위한 시스템 확장성 시뮬레이션 수행.

제안 방법

• 이중 분류기 아키텍처를 제안한다: 신규 사용자에 대해서는 실시간 트윗 텍스트와 메타데이터만을 사용하는 '비-프로필 분류기'와, 알려진 사용자의 다운로드된 사용자 타임라인을 사용하는 '프로필 분류기'이다.
• 비-프로필 분류기는 텍스트 특징(예: 엔트로피, 반복성, URL 밀도)과 메타데이터(예: 기기 유형, 재트윗 비율)를 기반으로 AGT를 탐지한다.
• 프로필 분류기는 χ² 검정을 사용한 트윗 주기성 및 사용자 타임라인에서의 시간적 엔트로피 계산을 통해 탐지 성능을 향상시킨다.
• NTS 데이터 59일치를 사용한 시뮬레이션을 통해 시스템 성능을 평가하며, 처리량과 분류기 작업 분포를 포함한다.
• 세 가지 기계학습 모델(SVM, 랜덤 포레스트, 나이브 베이즈)을 수작업으로 레이블링된 10,000개의 트윗(2,251개의 AGT 포함) 데이터셋에서 학습하고 평가한다.
• 다양한 사용자와 트윗 소스 간 일반화 능력을 평가하기 위해 주별 교차검증을 사용한다.

실험 결과

연구 질문

• RQ1 사용자 타임라인에 접근하지 않고도 트윗 텍스트와 메타데이터만을 사용하는 경량 실시간 분류기가 AGT를 탐지할 수 있는가?
• RQ2 사용자 타임라인 데이터를 통합함으로써 메타데이터 전용 분류에 비해 AGT 탐지 정확도가 유의미하게 향상되는가?
• RQ3 이 즉각적 탐지 시스템이 처리할 수 있는 트위터 스트림의 최대 규모는 하루에 몇 명의 고유 사용자 수인가?
• RQ4 수작업으로 레이블링된 10,000개의 트윗 데이터셋에서 학습된 다양한 기계학습 모델이 AGT를 분류하는 데 어떻게 성능을 내는가?
• RQ5 분류기의 주요 실패 원인은 무엇이며, 모델 정교화나 특징 가중치 조정을 통해 이를 완화할 수 있는가?

주요 결과

• 비-프로필 분류기는 AGT 탐지에서 97.9%의 정확도를 달성하였으며, 더 복잡한 프로필 분류기보다 단지 24건의 추가 오분류만을 보였다.
• 프로필 분류기는 98.0%의 정확도를 달성하였지만, 비-프로필 분류기 대비 미미한 성능 향상이므로 이 데이터셋에서는 사용자 타임라인 다운로드가 AGT 탐지에 필수적이지 않다는 시사가 된다.
• 텍스트 분류기만으로도 96.3%의 AGT 탐지 정확도를 기록하여, 텍스트 및 구조적 특징만으로도 뛰어난 성능을 내는 것으로 나타났다.
• 시스템은 하루에 최대 68,000명의 고유 사용자를 처리할 수 있으며, 사용자 타임라인 다운로드 시간이 주요 성능 저하 요인임을 확인했다.
• 오분류된 트윗은 종종 희귀 앱을 사용한 인간 사용자가 생성한 것으로, 텍스트 분류기의 AGT 확률 점수는 낮았지만 다른 지표들은 자동화를 시사했다.
• 본 연구는 지속적인 학습과 텍스트 분류기의 영향력에 대한 정밀 조정이 변화하는 AGT 생성 방법에 대비한 강건성 향상에 기여할 수 있음을 시사한다.