[논문 리뷰] Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings

Wei Feng, Uyen Trang Nguyen|arXiv (Cornell University)|2020. 02. 03.

Spam and Phishing Detection참고 문헌 54인용 수 18

한 줄 요약

이 논문은 사용자 프로필, 친구 관계망 또는 수작업으로 만든 특징에 의존하지 않고, 단지 트윗 내용만을 사용하여 트위터 봇을 탐지하기 위해 단어 임bedding을 갖춘 양방향 Long Short-Term Memory (BiLSTM) 신경망을 제안한다. 이 모델은 cresci-2017 데이터셋에서 최신 기술 수준의 성능을 달성하여, 원시 텍스트 시퀀스에서부터 엔드 투 엔드 학습을 통해 인간 계정과 스팸 봇을 구분하는 데 있어 높은 정확도(96.1%)와 F-측정치(96.3%)를 보였다.

ABSTRACT

Twitter is a web application playing dual roles of online social networking and micro-blogging. The popularity and open structure of Twitter have attracted a large number of automated programs, known as bots. Legitimate bots generate a large amount of benign contextual content, i.e., tweets delivering news and updating feeds, while malicious bots spread spam or malicious contents. To assist human users in identifying who they are interacting with, this paper focuses on the classification of human and spambot accounts on Twitter, by employing recurrent neural networks, specifically bidirectional Long Short-term Memory (BiLSTM), to efficiently capture features across tweets. To the best of our knowledge, our work is the first that develops a recurrent neural model with word embeddings to distinguish Twitter bots from human accounts, that requires no prior knowledge or assumption about users' profiles, friendship networks, or historical behavior on the target account. Moreover, our model does not require any handcrafted features. The preliminary simulation results are very encouraging. Experiments on the cresci-2017 dataset show that our approach can achieve competitive performance compared with existing state-of-the-art bot detection systems.

연구 동기 및 목표

• 사용자 프로필, 친구 관계망 또는 이력 행동에 대한 사전 지식이 전혀 필요 없는 봇 탐지 시스템을 개발하는 것.
• 딥 러닝을 활용하여 봇 탐지에서 수작업으로 만든 특징의 필요성을 제거하는 것.
• 순환 신경망과 단어 임베딩을 활용한 트위터 계정의 인간 또는 스팸 봇 분류 성능을 평가하는 것.
• 실세계 응용 프로그램에 더 빠르고 효율적으로 봇 탐지 시스템을 구현할 수 있도록 하는 것.

제안 방법

• 트윗 시퀀스에서 과거와 미래의 단어를 모두 고려한 문맥적 의존성을 포착하기 위해 양방향 Long Short-Term Memory (BiLSTM) 네트워크를 사용한다.
• 기존에 학습된 단어 임베딩을 사용하여 원시 텍스트 트윗을 조밀한 벡터 표현으로 인코딩하여 전통적인 NLP 특징 공학의 대체를 한다.
• 메타데이터나 네트워크 구조를 사용하지 않고, 트윗 텍스트만으로 BiLSTM 모델을 엔드 투 엔드로 훈련시킨다.
• 정규화 및 최종 분류를 위해 드롭아웃 및 소프트맥스 레이어를 적용한다.
• cresci-2017 데이터셋에서 효율적인 훈련을 위해 Adam 옵timizer와 분류 교차 엔트로피 손실을 사용한다.
• 학습된 모델을 사용하여 트윗의 순차적 언어 패턴에 기반해 테스트 트윗을 분류하는 추론을 수행한다.

실험 결과

연구 질문

• RQ1 단어 임베딩을 갖춘 BiLSTM 모델이 단지 트윗 내용만을 사용하여 인간 계정과 스팸 봇 계정을 효과적으로 구분할 수 있는가?
• RQ2 특징 공학 없이도 딥 러닝 접근 방식의 성능이 트위터 봇 탐지 분야에서 최신 기술 수준의 방법들과 비교해 어떻게 되는가?
• RQ3 문맥적 시퀀스 모델링이 봇이 생성한 트윗에서의 구별 가능한 언어 패턴을 어느 정도 잘 포착할 수 있는가?
• RQ4 프로필, 네트워크 또는 행동 특징이 없는 것이 탐지 정확도에 상당한 영향을 미치는가?

주요 결과

• 제안된 BiLSTM 모델은 cresci-2017 데이터셋의 테스트 세트 #1에서 정확도 96.1%와 F-측정치 96.3%를 기록하여 여러 기존 방법들을 능가했다.
• 테스트 세트 #2에서는 정확도 92.9%와 F-측정치 92.6%를 기록하여 다양한 데이터 분할에 대한 강력한 일반화 능력을 보였다.
• 테스트 세트 #1에서 모델은 정밀도 94.0%와 재현율 97.6%를 기록하여 스팸 봇을 식별하는 데 높은 신뢰성을 보였다.
• 워드클라우드 분석 결과, 봇은 'awesome'(매우 멋지다)이나 'fascinating'(매력적이다)와 같은 과장된 홍보어를 자주 사용하며 인간 계정보다 더 많은 외부 링크를 포함하는 경향이 있었다.
• 특징 공학 없이도 BotOrNot? 및 C. Yang et al.의 지도 기반 기준 모델보다 F-측정치와 MCC에서 뚜렷한 성능 향상을 보였다.
• 결과적으로 딥 러닝과 단어 임베딩를 활용하면 트윗의 언어 패턴을 효과적으로 모델링할 수 있으며, 보조 데이터 없이도 고정확도의 봇 탐지가 가능하다는 것이 확인되었다.