[논문 리뷰] Collective Classification of Spam Campaigners on Twitter: A Hierarchical Meta-Path Based Approach

Srishti Gupta, Abhinav Khattar외 3명|arXiv (Cornell University)|2018. 02. 12.

Spam and Phishing Detection인용 수 13

한 줄 요약

이 논문은 URL 대신 전화번호를 홍보하는 트위터의 스팸 캠페인 운영자를 탐지하기 위해 계층적 메타패스 기반 집합 분류 방법을 제안한다. 이방법은 트위터를 이질적 네트워크로 모델링하고 피드백 기반 활성 학습을 사용하는 새로운 계층적 메타패스 스코어(HMPS)를 도입함으로써, 최고의 베이스라인 대비 AUC는 67.3% 향상되고 F1 스코어는 6.9% 향상되어 이전에 발견되지 않은 스팸러를 효과적으로 식별한다.

ABSTRACT

Cybercriminals have leveraged the popularity of a large user base available on Online Social Networks to spread spam campaigns by propagating phishing URLs, attaching malicious contents, etc. However, another kind of spam attacks using phone numbers has recently become prevalent on OSNs, where spammers advertise phone numbers to attract users' attention and convince them to make a call to these phone numbers. The dynamics of phone number based spam is different from URL-based spam due to an inherent trust associated with a phone number. While previous work has proposed strategies to mitigate URL-based spam attacks, phone number based spam attacks have received less attention. In this paper, we aim to detect spammers that use phone numbers to promote campaigns on Twitter. To this end, we collected information about 3,370 campaigns spread by 670,251 users. We model the Twitter dataset as a heterogeneous network by leveraging various interconnections between different types of nodes present in the dataset. In particular, we make the following contributions: (i) We propose a simple yet effective metric, called Hierarchical Meta-Path Score (HMPS) to measure the proximity of an unknown user to the other known pool of spammers. (ii) We design a feedback-based active learning strategy and show that it significantly outperforms three state-of-the-art baselines for the task of spam detection. Our method achieves 6.9% and 67.3% higher F1-score and AUC, respectively compared to the best baseline method. (iii) To overcome the problem of less training instances for supervised learning, we show that our proposed feedback strategy achieves 25.6% and 46% higher F1-score and AUC respectively than other oversampling strategies. Finally, we perform a case study to show how our method is capable of detecting those users as spammers who have not been suspended by Twitter (and other baselines) yet.

연구 동기 및 목표

• 기존 문헌에서 다루지 않은 바와 같이, 기존 URL 기반 스팸과 다름에도 불구하고 점점 증가하는 전화번호 기반 스팸 캠페인에 대응하기 위해.
• 사용자, 캠페인, 전화번호 간 상호작용을 포괄하는 이질적 네트워크로 트위터를 모델링하여 스팸 탐지 성능을 향상시키기 위해.
• 기존 스팸러 네트워크에 가까운 근접도를 기반으로 한 집합 분류를 통해 미지의 스팸러를 효율적으로 식별할 수 있는 확장 가능한 효과적인 방법을 개발하기 위해.
• 감독 학습에서의 데이터 부족 문제를 해결하기 위해 표준 오버샘플링 기법보다 우수한 성능을 보이는 피드백 기반 활성 학습 전략을 도입하기 위해.
• 트위터나 기존 탐지 시스템에 의해 정지되지 않은 채로 여전히 활동 중인, 이전에 발견되지 않은 스팸러를 탐지하기 위해.

제안 방법

• 저자들은 사용자, 캠페인, 전화번호를 노드로, 리트윗, 언급, 캠페인 전파와 같은 상호작용을 간선으로 하는 이질적 네트워크로 트위터 데이터셋을 모델링한다.
• 그들은 다양한 계층적 메타패스를 통해 유사도 스코어를 집계함으로써, 미지의 사용자와 알려진 스팸러 간의 근접도를 측정하는 새로운 메트릭인 계층적 메타패스 스코어(HMPS)를 도입한다.
• 이 방법은 반복적으로 인간의 주석을 부여할 가장 유의미한 미주석 사용자를 선택하는 피드백 기반 활성 학습 전략을 활용하여, 최소한의 주석 노력으로도 모델 성능을 향상시킨다.
• HMPS는 다양한 메타패스의 의미적 특성(예: 사용자 → 전화번호 → 사용자)을 활용하여 구조적 유사성을 포착하고, 스팸 행동과 정상적인 활동을 구분한다.
• 피드백 주석 데이터로 훈련된 일변도 분류기(One-class classifier)를 사용하여, 제한된 양의 양성 훈련 인스턴스가 존재하더라도 효과적인 탐지가 가능하다.
• 실제 세계의 3,370개의 캠페인과 670,251명의 사용자로 구성된 데이터셋을 사용하여 평가하였으며, 검증을 위한 인간 주석 기반 참값을 제공한다.

실험 결과

연구 질문

• RQ1 URL 대신 전화번호를 주요 공격 벡터로 사용하는 트위터 스팸 캠페인을 효과적으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 기존 스팸 네트워크에 대한 구조적 근접도를 측정함으로써, 계층적 메타패스가 미지의 스팸러 탐지에 얼마나 기여하는가?
• RQ3 저자료 환경에서 전통적인 감독 학습 및 오버샘플링 기법에 비해 피드백 기반 활성 학습 전략이 유의미하게 뛰어난 성능을 보일 수 있는가?
• RQ4 특히 정지되지 않은 스팸러를 탐지하는 데 있어, 제안된 방법이 기존 베이스라인 대비 F1 스코어와 AUC에서 어떻게 비교되는가?
• RQ5 모델은 트위터 자체 시스템과 기존 베이스라인에서 놓친 스팸 계정을 식별할 수 있는가?

주요 결과

• 제안된 피드백 기반 활성 학습 전략은 최고의 베이스라인 대비 F1 스코어는 6.9% 향상되고 AUC는 67.3% 향상되었다.
• 훈련 데이터가 제한된 조건에서, 표준 오버샘플링 기법에 비해 F1 스코어는 25.6% 향상되고 AUC는 46% 향상되었다.
• 계층적 메타패스 스코어(HMPS)는 이질적 네트워크 내에서의 구조적 유사성을 효과적으로 포착하여 스팸러 유사 행동을 정확하게 식별할 수 있었다.
• 사례 연구를 통해 이 방법이 트위터에 의해 정지되지 않았고 기존 베이스라인에서 놓친 스팸 계정의 15.2%를 탐지함을 확인했다.
• 피드백 기반 레이블링 전략 덕분에, 희박한 양성 훈련 인스턴스가 존재하더라도 모델이 뛰어난 일반화 성능을 유지함을 입증했다.
• 결과적으로, 의미 있는 메타패스를 갖춘 이질적 네트워크로 온라인 사회망 서비스(OSNs)를 모델링하는 것이, 동질적 네트워크나 특징 기반 접근 방식을 뛰어넘어 스팸 탐지 성능을 크게 향상시킨다는 것이 검증되었다.