[논문 리뷰] Simplistic Collection and Labeling Practices Limit the Utility of Benchmark Datasets for Twitter Bot Detection

C. P. Hays, Zachary Schutzman외 3명|arXiv (Cornell University)|2023. 01. 17.

Spam and Phishing Detection인용 수 5

한 줄 요약

이 논문은 기존 트위터 벤치마크 데이터셋에서 높은 성능을 내는 봇 탐지 모델이 고도로 발전된 특징 공학이나 모델 복잡성 덕분이 아니라, 단순한 데이터 수집 및 레이블링 방식이 훈련 데이터에 데이터셋 고유의 특징을 심어넣기 때문에 거의 완벽한 정확도를 달성한다는 것을 입증한다. 단순한 특징들—예를 들어 트윗 빈도, 좋아요 행동, 언어 등—만을 사용해 훈련한 얕은 결정 트리 모델들이 최신 기술 수준의 성능을 달성함으로써, 모델들이 데이터셋 간으로 일반화하기보다는 샘플링 편향을 학습하고 진정한 봇 특성은 학습하지 않는다는 것이 드러난다.

ABSTRACT

Accurate bot detection is necessary for the safety and integrity of online platforms. It is also crucial for research on the influence of bots in elections, the spread of misinformation, and financial market manipulation. Platforms deploy infrastructure to flag or remove automated accounts, but their tools and data are not publicly available. Thus, the public must rely on third-party bot detection. These tools employ machine learning and often achieve near perfect performance for classification on existing datasets, suggesting bot detection is accurate, reliable and fit for use in downstream applications. We provide evidence that this is not the case and show that high performance is attributable to limitations in dataset collection and labeling rather than sophistication of the tools. Specifically, we show that simple decision rules -- shallow decision trees trained on a small number of features -- achieve near-state-of-the-art performance on most available datasets and that bot detection datasets, even when combined together, do not generalize well to out-of-sample datasets. Our findings reveal that predictions are highly dependent on each dataset's collection and labeling procedures rather than fundamental differences between bots and humans. These results have important implications for both transparency in sampling and labeling procedures and potential biases in research using existing bot detection tools for pre-processing.

연구 동기 및 목표

• 기존 벤치마크 데이터셋에서 최신 기술 수준의 봇 탐지 모델이 거의 완벽한 성능을 내는 이유를 조사하기 위해.
• 이러한 높은 성능 결과가 진정한 탐지 능력을 반영하는지, 아니면 데이터 수집 및 레이블링 방식에서 비롯된 특징을 반영하는지 평가하기 위해.
• 다른 데이터셋과 봇 유형 간에 봇 탐지 모델의 일반화 능력을 평가하기 위해.
• 봇 탐지 기반 전처리 단계를 활용하는 후속 사회과학 연구에서의 편향 위험을 부각하기 위해.
• 소셜 미디어 연구 데이터셋의 데이터 수집 및 레이블링 절차에 대해 더 큰 투명성을 촉구하기 위해.

제안 방법

• 트위터 빈도, 좋아요 행동, 언어, 계정 생성 시간 등의 최소한의 특징 세트를 사용해 얕은 결정 트리를 훈련하여, 기준 데이터셋에서의 모델 성능을 평가하였다.
• 다중분류를 통해 각 봇 유형 내에서 계정이 어느 데이터셋에 속해 있는지 예측함으로써, 서로 다른 데이터셋의 계정들이 식별 가능한지 테스트하였다.
• 해당 모델의 성능를 비교하기 위해 얕은 결정 트리와 무작위 숲을 비교하여, 설명 가능성과 약간의 성능 향상 간의 균형을 분석하였다.
• 모델을 병합된 데이터셋에서 훈련하고, 외부 샘플 데이터셋에서 테스트하여 일반화 능력을 평가하였으며, 정확도와 균형 정확도를 측정하였다.
• 언어 사용, 참여 패턴, 계정 활동 등의 데이터셋 고유의 특징을 분석하여 샘플링 편향을 규명하였다.
• 표준 머신러닝 평가 지표(정확도, 균형 정확도)를 사용하여 모델 성능 및 일반화 실패를 정량화하였다.

실험 결과

연구 질문

• RQ1 높은 성능을 내는 봇 탐지 모델이 일반화 가능한 봇 특성보다 데이터셋 고유의 특징에 얼마나 의존하는가?
• RQ2 얕은 결정 트리와 같은 단순한 모델이 기존 벤치마크 데이터셋에서 거의 최신 기술 수준의 성능을 달성할 수 있는가? 이는 모델 일반화 능력에 대해 어떤 시사점을 갖는가?
• RQ3 병합된 데이터셋에서 훈련된 모델이 외부 샘플 데이터셋으로 일반화할 때 성능는 얼마나 되며, 이는 데이터 분포의 변화를 어떻게 드러내는가?
• RQ4 동일한 봇 유형 내에서도 계정이 어느 데이터셋에서 유래되었는지 식별할 수 있는가? 이는 데이터셋 수준의 샘플링 편향을 시사하는가?
• RQ5 이러한 발견은 봇 탐지 기반 전처리 단계를 활용하는 후속 사회과학 연구에 어떤 영향을 미치는가?

주요 결과

• 트윗 빈도, 좋아요 행동, 언어 등의 몇 가지 특징만을 사용해 훈련한 얕은 결정 트리 모델이 대부분의 벤치마크 데이터셋에서 거의 최신 기술 수준의 성능을 달성함으로써, 모델 정확도가 모델의 복잡성보다는 데이터 특징에서 기인한다는 점이 드러났다.
• 병합된 데이터셋에서 훈련된 모델은 외부 샘플 데이터셋으로의 일반화 능력이 떨어지며 성능이 크게 하락함으로써, 데이터셋 간의 근본적인 분포 차이가 존재한다는 점이 드러났다.
• 다중분류 분류기는 계정이 어느 데이터셋에서 유래되었는지 높은 정확도로 예측할 수 있었으며, 인간 계정의 경우 0.67/0.43의 균형 정확도, 스팸 봇의 경우 0.97/0.75, 가짜 팔로워의 경우 0.97/0.94를 기록하여 강력한 데이터셋 수준의 샘플링 편향이 있음을 시사하였다.
• 스팸 봇 데이터셋은 간단한 행동 패tern—예를 들어 social-spambots-1에서 이탈리아어 트윗, pronbots-2019에서 높은 좋아요 비율—을 통해 식별 가능하며, 이는 모델이 봇의 의미적 특성보다는 샘플링 특징을 학습하고 있음을 보여준다.
• 무작위 숲과 같은 복잡한 모델의 높은 성능은 그 표현력 덕분이 아니라, 얕은 모델이 활용하는 것과 동일한 데이터셋 고유의 특징에서 기인한다.
• 이러한 발견은 기반 데이터가 대표성 없거나 투명하게 수집되지 않은 경우, 후속 연구에서 사용되는 봇 탐지 도구가 심각한 편향을 유발할 수 있음을 시사한다.