[논문 리뷰] Making the Most of Tweet-Inherent Features for Social Spam Detection on Twitter

Bo Wang, Arkaitz Zubiaga외 2명|arXiv (Cornell University)|2015. 03. 25.

Spam and Phishing Detection참고 문헌 8인용 수 82

한 줄 요약

이 논문은 역사적 또는 네트워크 데이터를 사용하지 않고, 콘텐츠와 기본 메타데이터만을 기반으로 실시간으로 트위터 스팸 트윗을 탐지하는 트윗 내재 특징 기반 접근법을 제안한다. 두 개의 수동 레이블링된 데이터셋과 다섯 개의 분류기, 네 가지 특징 세트를 사용하여 경쟁적인 성능을 달성하였으며, 특히 트리 기반 모델과 User + Bi/Tri-grams (Tf)와 같은 병합된 특징 조합에서 뛰어난 성능을 보였다. 이는 최소한의 즉각 이용 가능한 트윗 데이터로도 효과적인 스팸 탐지가 가능하다는 것을 입증한다.

ABSTRACT

Social spam produces a great amount of noise on social media services such as Twitter, which reduces the signal-to-noise ratio that both end users and data mining applications observe. Existing techniques on social spam detection have focused primarily on the identification of spam accounts by using extensive historical and network-based data. In this paper we focus on the detection of spam tweets, which optimises the amount of data that needs to be gathered by relying only on tweet-inherent features. This enables the application of the spam detection system to a large set of tweets in a timely fashion, potentially applicable in a real-time or near real-time setting. Using two large hand-labelled datasets of tweets containing spam, we study the suitability of five classification algorithms and four different feature sets to the social spam detection task. Our results show that, by using the limited set of features readily available in a tweet, we can achieve encouraging results which are competitive when compared against existing spammer detection systems that make use of additional, costly user features. Our study is the first that attempts at generalising conclusions on the optimal classifiers and sets of features for social spam detection over different datasets.

연구 동기 및 목표

• 트위터에서의 소셜 스팸이 신호 대 잡음 비율을 악화시키고 사용자 및 데이터 마이닝 응용에 영향을 미치는 문제를 해결하기 위해.
• 역사적 또는 네트워크 기반 데이터 수집에 비용이 많이 들지 않는다는 점을 고려해, 개별 트윗에 내재된 특징만을 사용하여 실시간 또는 거의 실시간으로 작동하는 스팸 탐지 시스템을 개발하기 위해.
• 두 개의 서로 다른 수동 레이블링된 데이터셋을 사용하여, 스팸 트윗 탐지에 대한 다수의 분류 알고리즘과 특징 세트의 성능을 평가하고 비교하기 위해.
• 다양한 데이터셋 간 최적의 분류기와 특징 조합을 일반화하여, 스팸 탐지 시스템의 재현 가능성과 강건성을 향상시키기 위해.
• 다양한 스팸 패턴의 변화에 대응하고 정상 사용자 스팸에 대응하기 위한 향후 적응 가능성과 교차 데이터셋 일반화의 가능성 탐색을 위해.

제안 방법

• 연구는 스팸 탐지를 트윗 수준의 분류 작업으로 간주하며, 사용자 메타데이터, n-그램, 감성, 품사 수와 같은 단일 트윗 내에 존재하는 특징들만을 사용한다.
• 스팸 또는 비스팸으로 분류할 수 있는 능력을 평가하기 위해 다섯 가지 분류 알고리즘—로지스틱 회귀, SVM, 나이브 베이즈, 의사결정나무, 랜덤 포레스트—를 평가한다.
• 네 가지 특징 세트를 구성한다: 사용자 특징(예: 팔로워 수), n-그램(일반형, 이중형, 삼중형), 감성 특징, 그리고 NSW(스팸 단어 수)와 POS(품사) 수를 조합한 콘텐츠 특징.
• 특징 공학은 트윗 단위로 수행되며, 특히 실시간 배포를 위한 확장성 평가를 위해 계산 시간을 측정한다.
• 성능 평가를 위해 2011년에 수집된 두 개의 대규모 수동 레이블링된 데이터셋을 사용하며, 수집 방법이 다르므로 결과의 강건성과 재현 가능성을 시험한다.
• 표준 평가 지표(예: F1-스코어)를 사용하여 성능을 평가하고, 다양한 분류기와 특징 조합 간의 성능을 비교하여 최적의 구성 요소를 식별한다.

실험 결과

연구 질문

• RQ1 역사적 또는 네트워크 기반 사용자 데이터에 의존하지 않고도 트윗 내재 특징만으로 효과적인 스팸 탐지를 달성할 수 있는가?
• RQ2 트윗 내재 특징에 국한되었을 때, 어떤 분류 알고리즘이 스팸 트윗 탐지에 가장 잘 작동하는가?
• RQ3 다양한 데이터셋에서 가장 높은 탐지 성능을 내는 트윗 내재 특징의 조합은 무엇인가?
• RQ4 다양한 특징 세트가 별개로 사용될 때와 병합되어 사용될 때의 성능 특성은 어떻게 비교되는가?
• RQ5 다른 방법으로 수집된 데이터셋 간에 결과가 어느 정도 일반화될 수 있는가? 이는 강건성과 재현 가능성의 지표가 된다.

주요 결과

• 트리 기반 분류기, 특히 랜덤 포레스트가 평가된 다섯 가지 알고리즘 중에서 가장 높은 성능을 기록하여, 이 작업에 효과적임을 확인하였다.
• 사용자 특징과 Bi/Tri-gram (Tf) 특징의 조합이 두 데이터셋 모두에서 가장 높은 F1-스코어를 기록하여, 사용자 수준과 콘텐츠 수준의 신호를 통합함으로써 탐지 성능이 향상됨을 시사한다.
• NSW(스팸 단어 수)와 POS(품사) 수를 포함한 콘텐츠 특징은 계산 비용이 높으며, 특징 공학 처리에 1000개의 트윗당 약 20초가 소요된다.
• 여러 특징 세트를 병합하면 탐지 성능이 향상되며, 이는 스팸 패턴의 다양성을 더 잘 포착하고 스팸러의 회피를 줄일 가능성을 높이기 때문이다.
• 트윗 내재 특징만으로도 경쟁적인 성능를 달성하여, 데이터 수집 파이프라인에서 실시간 또는 거의 실시간 배포에 적합하다.
• 다른 방법으로 수집된 두 데이터셋 간에 결과가 재현 가능하여, 최적의 분류기와 특징 조합에 대한 연구 결과의 일반화 가능성을 뒷받침한다.