[논문 리뷰] TwiBot-22: Towards Graph-Based Twitter Bot Detection

Shangbin Feng, Zhaoxuan Tan외 20명|arXiv (Cornell University)|2022. 06. 09.

Spam and Phishing Detection인용 수 47

한 줄 요약

TwiBot-22는 대규모 이질 그래프 기반의 트위터 봇 탐지 벤치마크와 평가 프레임워크를 도입하고, 9개 데이터세트에 걸친 35개의 베이스라인 재구현 및 벤치마킹을 수행한다.

ABSTRACT

Twitter bot detection has become an increasingly important task to combat misinformation, facilitate social media moderation, and preserve the integrity of the online discourse. State-of-the-art bot detection methods generally leverage the graph structure of the Twitter network, and they exhibit promising performance when confronting novel Twitter bots that traditional methods fail to detect. However, very few of the existing Twitter bot detection datasets are graph-based, and even these few graph-based datasets suffer from limited dataset scale, incomplete graph structure, as well as low annotation quality. In fact, the lack of a large-scale graph-based Twitter bot detection benchmark that addresses these issues has seriously hindered the development and evaluation of novel graph-based bot detection approaches. In this paper, we propose TwiBot-22, a comprehensive graph-based Twitter bot detection benchmark that presents the largest dataset to date, provides diversified entities and relations on the Twitter network, and has considerably better annotation quality than existing datasets. In addition, we re-implement 35 representative Twitter bot detection baselines and evaluate them on 9 datasets, including TwiBot-22, to promote a fair comparison of model performance and a holistic understanding of research progress. To facilitate further research, we consolidate all implemented codes and datasets into the TwiBot-22 evaluation framework, where researchers could consistently evaluate new models and datasets. The TwiBot-22 Twitter bot detection benchmark and evaluation framework are publicly available at https://twibot22.github.io/

연구 동기 및 목표

• 다양한 이질 그래프를 갖춘 대규모 그래프 기반 트위터 봇 탐지 데이터세트의 부족 문제를 해결한다.
• 약한 감독을 통해 주석 정확도를 향상시키는 고품질 벤치마크를 제공한다.
• 여러 데이터세트에서 35개의 베이스라인을 재구현하고 공정하게 벤치마킹하여 공정한 비교와 진척 추적을 가능하게 한다.
• 그래프 기반 방법의 가치를 입증하고 향후 연구를 위한 평가 프레임워크를 확립한다.

제안 방법

• 두 단계 데이터 수집: 다양성 인식 BFS로 4개 엔티티 타입과 14개 관계 타입을 갖춘 대규모 이질 트위터 그래프를 구축한다.
• 사용자, 트윗, 리스트, 해시태그 및 추가 관계를 통합하여 이질 그래프를 구성한다.
• 주석을 위한 약한 감독: 1,000명의 전문가 라벨링, 다수 모델의 노이즈 라벨링, Snorkel 기반 라벨 디노이싱으로 고품질 라벨을 생성한다.
• 특징 기반, 텍스트 기반 및 그래프 기반 방법을 포괄하는 35개의 대표 베이스라인의 재현을 수행한다.
• TwiBot-22를 포함한 9개 데이터세트에 대해 모델당 5회 실행으로 성능과 변동성을 평가하는 포괄적 평가를 수행한다.
• 그래프 구성요소를 제거하는 소거(ablation)를 통해 그래프 구조의 영향 분석을 수행한다.
• 하나의 서브 커뮤니티에서 학습하고 다른 커뮤니티에서 테스트하여 보이지 않는 데이터 성능을 평가하는 일반화 연구를 수행한다.

실험 결과

연구 질문

• RQ1 대규모 이질 그래프가 기존 데이터세트와 비교하여 트위터 봇 탐지 성능을 어떻게 개선하는가?
• RQ2 그래프 기반 방법이 다양한 데이터세트에서 일관되게 특징 기반 및 텍스트 기반 방법보다 우수한가?
• RQ3 그래프 구성요소를 제거하는 것이 그래프 기반 모델의 성능에 미치는 영향은?
• RQ4 봇 탐지 모델이 보이지 않는 트위터 하위 커뮤니티 및 데이터 분포에 얼마나 잘 일반화되는가?
• RQ5 통합 평가 프레임워크가 그래프 기반 트위터 봇 탐지에서 공정한 비교와 향후 개선을 촉진할 수 있는가?
• RQ6 대규모 봇 라벨링에서 약한 감독이 주석 품질에 어떤 개선을 가져올 수 있는가?

주요 결과

• TwiBot-22는 현재까지 가장 큰 그래프 기반 트위터 봇 탐지 벤치마크를 확립했으며, 노드 92,932,326개 및 엣지 170,185,937개를 보유한다.
• 이질 그래프는 4개 엔티티 타입과 14개 관계 타입을 포함하여 이전 데이터세트보다 더 풍부한 구조를 제공한다.
• 그래프 기반 베이스라인은 일반적으로 데이터세트 간에 특징 기반 및 텍스트 기반 방법을 능가하며, TwiBot-20과 TwiBot-22의 상위 5개 모델은 그래프 기반이다.
• TwiBot-22의 주석 품질은 현저히 높으며(테스트 세트에서 전문가 주석 정확도 90.5%), TwiBot-20의 대략 80%보다 높다.
• 일반화 연구에서 그래프 기반 방법(BotRGCN, RGT 등)이 보이지 않는 데이터에서 더 나은 성능을 보이며, 그래프가 일반화를 돕는다는 것을 시사한다.
• 그래프 기반 모델에서 그래프 구성요소를 제거하면 성능이 저하되며, 그래프 신경망은 그래프 구조에 상당한 민감도를 보인다.