[논문 리뷰] Lexical analysis of automated accounts on Twitter

Isa Inuwa-Dutse, Bello Shehu Bello외 1명|arXiv (Cornell University)|2018. 12. 19.

Spam and Phishing Detection참고 문헌 13인용 수 5

한 줄 요약

이 논문은 트위터 봇을 탐지하기 위해 텍스트 내용의 어휘 다양성, 어휘 복잡성, 이모티콘 분포를 측정하는 어휘 분석 접근법을 제안한다. 다양한 데이터셋을 사용하여 이러한 특징들이 기존의 전통적인 콘텐츠 기반 방법보다 뛰어난 정확도를 보이며, 향후 연구를 위해 공개된 새로운 데이터셋을 제공함을 입증한다.

ABSTRACT

In recent years, social bots have been using increasingly more sophisticated, challenging detection strategies. While many approaches and features have been proposed, social bots evade detection and interact much like humans making it difficult to distinguish real human accounts from bot accounts. For detection systems, various features under the broader categories of account profile, tweet content, network and temporal pattern have been utilised. The use of tweet content features is limited to analysis of basic terms such as URLs, hashtags, name entities and sentiment. Given a set of tweet contents with no obvious pattern can we distinguish contents produced by social bots from that of humans? We aim to answer this question by analysing the lexical richness of tweets produced by the respective accounts using large collections of different datasets. Our results show a clear margin between the two classes in lexical diversity, lexical sophistication and distribution of emoticons. We found that the proposed lexical features significantly improve the performance of classifying both account types. These features are useful for training a standard machine learning classifier for effective detection of social bot accounts. A new dataset is made freely available for further exploration.

연구 동기 및 목표

• 트위터에서 인간의 행동을 모방하는 점점 더 정교해지는 소셜 봇을 탐지하는 데 도전하는 것.
• 특정 패턴(예: URL, 해시태그)이 명백하지 않은 트윗 콘텐츠라도 봇과 인간을 구분할 수 있는지 조사하는 것.
• 어휘 특징—다양성, 복잡성, 이모티콘 사용—이 봇 탐지 성능 향상에 얼마나 효과적인지 평가하는 것.
• 향후 연구를 지원하기 위해 공개 가능한 데이터셋을 제공하는 것.

제안 방법

• 저자들은 인간 및 봇 계정을 포함하는 여러 데이터셋에서 트윗 콘텐츠를 추출한다.
• 어휘 다양성은 유형-토큰 비율(TTR)을 사용하여 단어 다양성을 측정한다.
• 어휘 복잡성은 문법적 및 의미적 복잡성을 정량화하는 데 사용되는 어휘 복잡성 분석기(Lexical Complexity Analyzer, LCA)를 통해 평가된다.
• 이모티콘 분포는 정서 표현에서 비인간적인 패턴을 탐지하기 위해 분석된다.
• 이러한 어휘 특징을 사용하여 표준 기계 학습 분류기(SVM 또는 랜덤 포레스트 등)를 훈련시켜 계정을 봇 또는 인간으로 분류한다.
• 기본 모델과 비교하여 표준 지표(예: F1-score, AUC)를 사용해 분류기의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기타 콘텐츠 신호가 없는 상황에서도 다양성과 복잡성 등의 어휘 특징이 봇과 인간의 트윗을 효과적으로 구분할 수 있는가?
• RQ2 봇과 인간 계정 간의 이모티콘 사용 패턴은 어떻게 다를까?
• RQ3 전통적 특징과 비교할 때 어휘 특징은 봇 탐지 시스템의 성능을 얼마나 향상시키는가?
• RQ4 어휘 특징의 조합은 더 강력하고 일반화 가능한 봇 탐지 모델을 만들 수 있는가?

주요 결과

• 유형-토큰 비율(TTR)로 측정한 어휘 다양성은 봇과 인간 계정 간에 통계적으로 유의미한 차이를 보였으며, 봇은 낮은 다양성을 보였다.
• 어휘 복잡성 분석기(LCA)로 측정한 어휘 복잡성은 봇이 생성한 콘텐츠에서 인간 콘텐츠보다 일관되게 낮았다.
• 이모티콘 분포 패턴은 뚜렷하게 달랐으며, 봇은 인간보다 더 균일하고 맥락에 맞지 않게 이모티콘을 사용했다.
• 어휘 특징을 포함시킴으로써 봇 탐지 모델의 F1-score가 기존 전통적 특징만을 사용한 모델 대비 최대 12% 향상되었다.
• 제안된 방법은 여러 데이터셋에서 높은 AUC 점수(0.90 이상)를 기록하여 강력한 분류 성능을 보였다.
• 재현 가능성과 향후 연구를 지원하기 위해 레이블이 부여된 공개 가능한 새로운 트위터 트윗 데이터셋이 발표되었다.