[논문 리뷰] Better Safe Than Sorry: An Adversarial Approach to Improve Social Bot Detection

Stefano Cresci, Marinella Petrocchi외 2명|arXiv (Cornell University)|2019. 04. 10.

Spam and Phishing Detection참고 문헌 50인용 수 15

한 줄 요약

이 논문은 디지털 DNA 표현을 통해 사용자 행동의 디지털 DNA를 조작하여 최신 검출 시스템을 회피하는 새로운 유전 알고리즘인 GenBot을 소개한다. 결과적으로 이러한 합성 봇의 최대 79%가 검출을 회피함을 보여주며, 이는 취약점을 드러내고 적대적 시뮬레이션을 통해 검출 모델의 사전 강화를 가능하게 한다.

ABSTRACT

The arm race between spambots and spambot-detectors is made of several cycles (or generations): a new wave of spambots is created (and new spam is spread), new spambot filters are derived and old spambots mutate (or evolve) to new species. Recently, with the diffusion of the adversarial learning approach, a new practice is emerging: to manipulate on purpose target samples in order to make stronger detection models. Here, we manipulate generations of Twitter social bots, to obtain - and study - their possible future evolutions, with the aim of eventually deriving more effective detection techniques. In detail, we propose and experiment with a novel genetic algorithm for the synthesis of online accounts. The algorithm allows to create synthetic evolved versions of current state-of-the-art social bots. Results demonstrate that synthetic bots really escape current detection techniques. However, they give all the needed elements to improve such techniques, making possible a proactive approach for the design of social bot detection systems.

연구 동기 및 목표

• 향후 봇의 진화를 예측함으로써 현재의 반응형 소셜 봇 검출 방식을 개선한다.
• 실제로 등장하기 전에 소셜 봇의 행동 진화를 시뮬레이션하고 연구할 수 있는 사전적 프레임워크를 개발한다.
• 진화된 봇의 회피 패tern과 특징을 식별함으로써 검출 정확도를 향상시킨다.
• 재학습 및 미세조정을 위해 검출 시스템을 위한 합성 실재성 있는 봇 데이터셋을 생성할 수 있도록 한다.
• 유전 기법을 행동 모델링에 적용함으로써 적대적 기계학습과 소셜 봇 검출 간 격차를 메운다.

제안 방법

• 온라인 계정의 행동 수명 주기를 디지털 DNA 시퀀스로 표현—순차적 행동 시퀀스를 코딩한 문자열.
• 실제 인간 사용자 행동을 모방하도록 진화시키는 맞춤형 유전 알고리즘(GenBot) 설계.
• 통계적 및 엔트로피 기반 메트릭을 사용해 진화된 봇과 실제 인간 계정 간 행동 거리를 최소화하는 피트니스 함수 정의.
• 신규 세대의 합성 봇을 생성하기 위해 진화 연산자(선택, 교배, 변이) 적용—실제 인간과 유사한 행동 패턴 유지.
• 특정 악성 작업(예: 대량 재트윗, 스팸)을 수행할 수 있도록 하되, 탐지 가능성은 낮게 유지하도록 진화 제약.
• 행동, 콘텐츠, 네트워크 기능에 기반한 세 가지 최신 검출 시스템에 대해 진화된 봇 평가.

실험 결과

연구 질문

• RQ1 디지털 DNA와 유전 알고리즘을 사용하여 스팸봇 진화를 시뮬레이션할 수 있는 분석 프레임워크를 개발할 수 있는가?
• RQ2 이 프레임워크를 사용해 실제 계정과 행동이 유사한 새로운 세대의 스팸봇을 합성할 수 있는가?
• RQ3 이러한 진화된 스팸봇은 현재 최신 검출 기술을 회피할 수 있는가?
• RQ4 이러한 합성 진화 봇에서의 통찰을 기반으로 기존 검출 시스템의 강건성을 향상시킬 수 있는가?

주요 결과

• 최신 행동 기반 검출 시스템에 대해 최대 79%의 합성 진화 소셜 봇이 검출을 회피하는 데 성공했다.
• 진화된 봇은 상호작용 간격 시간 분포 및 행동 시퀀스 엔트로피와 같은 핵심 메트릭에서 실제 사용자와 구분되지 않는 행동 패턴을 보였다.
• 특히 디지털 DNA 시퀀스 내 엔트로피는 합성 봇 행동의 강력한 지표로 부각되었으며, 진화된 봇 탐지에 기여했다.
• 디지털 DNA 표현은 효과적인 행동 모델링과 진화 시뮬레이션을 가능하게 하여, 이전 시도에 비해 인간과 유사한 행동을 더 잘 생성했다.
• 이 방법은 현재 검출 시스템의 핵심 취약점을 드러내었으며, 실제 배포 이전에 적대적 진화가 약점을 폭 드러낼 수 있음을 입증했다.
• 이 프레임워크는 향후 봇 위협에 대비해 검출 모델을 재학습하고 강화하기 위한 다양한 실재성 있는 합성 데이터셋 생성을 가능하게 한다.