[논문 리뷰] Online User Profiling to Detect Social Bots on Twitter

Maryam Heidari, James H. Jones외 1명|arXiv (Cornell University)|2022. 03. 09.

Misinformation and Its ImpactsSocial Sciences인용 수 18

한 줄 요약

이 논문은 사용자의 텍스트 게시물에서 개인적 특성인 연령, 성별, 교육 수준, 성격 등을 추출하여 온라인 사용자 프로필을 구성함으로써 트위터에서 소셜 봇을 탐지하기 위한 새로운 기계학습 접근법을 제안한다. 개인 정보 간 유사성을 신호로 활용함으로써 봇과 인간을 높은 정확도로 구분할 수 있으며, Cresci 2017 데이터셋에서 유저 프로필을 주석 처리한 6,900개가 넘는 트위터 계정을 포함하는 새로운 공개 데이터셋을 제공한다.

ABSTRACT

Social media platforms can expose influential trends in many aspects of everyday life. However, the movements they represent can be contaminated by disinformation. Social bots are one of the significant sources of disinformation in social media. Social bots can pose serious cyber threats to society and public opinion. This research aims to develop machine learning models to detect bots based on the extracted user's profile from a Tweet's text. Online users' profile shows the user's personal information, such as age, gender, education, and personality. In this work, the user's profile is constructed based on the user's online posts. This work's main contribution is three-fold: First, we aim to improve bot detection through machine learning models based on the user's personal information generated by the user's online comments. When comparing two online posts, the similarity of personal information makes it difficult to differentiate a bot from a human user. However, this research turns personal information similarity among two online posts into an advantage for the new bot detection model. The new proposed model for bot detection creates user profiles based on personal information such as age, personality, gender, education from users' online posts and introduces a machine learning model to detect social bots with high prediction accuracy based on personal information. Second, create a new public data set that shows the user's profile for more than 6900 Twitter accounts in the Cresci 2017 data set.

연구 동기 및 목표

• 온라인 게시물에서 파생된 개인 정보를 기반으로 사용자 프로필을 모델링하여 소셜 봇 탐지 성능을 향상시키기.
• 개인 정보가 계정 간에 매우 유사할 경우 봇과 인간을 구분하는 데 발생하는 과제를 해결하기.
• Cresci 2017 벤치마크에서 유저 프로필을 주석 처리한 6,900개가 넘는 트위터 계정을 포함하는 새로운 공개 데이터셋을 구축하기.
• 프로필 유사성을 분류 신호로 활용하는 기계학습 모델을 개발하기.
• 프로필 기반 특징이 봇 탐지 정확도 향상에 어떻게 기여하는지 입증하기.

제안 방법

• 자연어 처리 기법을 사용하여 사용자들의 트위터 게시물에서 연령, 성별, 교육 수준, 성격 등의 개인적 특성을 추출함으로써 사용자 프로필을 구성한다.
• 다수의 게시물 간 개인 정보 유사성을 봇과 유사한 행동으로 간주하는 신호로 활용하며, 봇이 일반적으로 이러한 특성을 복제하거나 모방한다고 가정한다.
• 프로필 특징을 기반으로 한 지도 학습 분류기를 사용하여 인간 계정과 봇 계정을 구분한다.
• 기본 데이터로 Cresci 2017 데이터셋을 사용하며, 텍스트 콘텐츠에 대한 NLP 파이프라인을 통해 프로필 주석을 생성한다.
• 사용자 프로필을 구조적이고 학습 가능한 형식으로 표현하기 위해 언어적 특성과 인구통계학적 특성을 모두 통합한다.
• 6,900개의 트위터 계정에 대한 프로필 주석을 포함한 새로운 공개 데이터셋을 배포하여 재현 가능성과 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사용자 게시물에서 추출한 개인 정보가 소셜 봇 탐지 정확도를 향상시킬 수 있는가?
• RQ2 다수의 게시물 간 개인적 특성 유사성이 봇과 인간을 구분하는 데 어떻게 신호로 작용하는가?
• RQ3 伝통적 방법에 비해 프로필 기반 특징이 봇 탐지 성능 향상에 어느 정도 기여하는가?
• RQ4 비정형 트위터 텍스트에서 사용자 프로필을 구성하는 것이 실현 가능하고 신뢰할 수 있는가?
• RQ5 제안된 모델은 프로필 수준의 특징을 사용하는 기존 봇 탐지 접근법과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 모델은 온라인 게시물에서 파생된 사용자 프로필 특징을 활용하여 소셜 봇 탐지에 높은 예측 정확도를 달성한다.
• 게시물 간 프로필 유사성이 봇 계정을 식별하는 강력한 지표로 입증되었으며, 특히 인구통계학적 및 성격 특성과 조합될 경우 더욱 효과적이다.
• 6,900개가 넘는 트위터 계정에 대한 주석 처리된 사용자 프로필을 포함하는 새로운 공개 데이터셋을 도입함으로써 재현 가능성과 향후 연구를 촉진한다.
• 나이, 성별, 교육 수준, 성격 등의 개인적 특성을 모델에 통합함으로써 탐지 성능 향상이 뚜렷하게 향상된다.
• 프로필 일관성을 노이즈가 아닌 분류 특징으로 간주함으로써 기존 기반 모델에 비해 성능이 뛰어나다.
• 봇이 인간과 유사한 개인 정보를 모방하더라도, 프로필 유사성의 미세한 일관성 부족 또는 패턴을 탐지에 활용할 수 있음을 결과가 입증한다.