[논문 리뷰] MGTAB: A Multi-Relational Graph-Based Twitter Account Detection Benchmark

Shuhao Shi, Kai Qiao외 6명|arXiv (Cornell University)|2023. 01. 03.

Spam and Phishing Detection인용 수 10

한 줄 요약

요약: MGTAB은 7개 유형의 다중 관계 유저 그래프를 갖춘 대규모 전문가 주석이 달린 트위터 벤치마크를 제공하며, 스탠스 추정과 봇 탐지에서 그래프 기반 방법이 특성 기반 방법보다 우수하고 다중 관계의 이점을 보인다.

ABSTRACT

The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.

연구 동기 및 목표

• 기존 트위터 벤치마크의 한계를 극복하기 위해 스탠스와 봇 탐지를 위한 고품질 전문가 주석 제공.
• 그래프 기반 계정 탐지 연구를 가능하게 하는 대규모 다중 관계 사용자 그래프 구성.
• Robust한 모델링을 위한 정보 가치 IG를 통한 20개 속성 특징 및 사용자-트윗 특징으로 유익한 특징 추출 및 정규화.
• 다중 관계 타입을 갖는 그래프 모델링의 이점을 확인하기 위해 그래프 기반 접근 방식이 특성 기반 방법보다 목표 태스크에서 우수함을 입증.
• 재현 가능한 연구를 위해 표준화된 평가 절차를 제공하고 데이터셋을 공개적으로 공개.

제안 방법

• 1) 155만 명이 넘는 사용자와 약 1.35억 트윗으로 구성된 대규모 트위터 데이터셋을 모으고, 고품질 코어 410,199명으로 정제.
• 2) 각 사용자에 대해 스탠스(중립/반대/지지) 및 봇 상태(사람/봇)에 대한 전문가 주석을 9명의 주석가 다수결로 획득.
• 3) 정보 이득(IG)을 통해 가장 informative한 20개 속성 특징을 추출하고, 다국어 트윗용 LaBSE로 인코딩한 사용자-트윗 특징을 보강.
• 4) 다중 관계 모델링을 가능하게 하는 간략화된 사용자 수준 이종 그래프를 7개 관계 유형(팔로워, 친구, 멘션, 답글, 인용, URL 동시출현, 해시태그 동시출현)으로 구성.
• 5) 사용자인 특징을 정규화된 수치 특징의 연결과 이진화된 불리언 특징의 연결로 표현하고, 트윗은 LaBSE로 인코딩한 뒤 한 사용자의 트윗들에 대해 평균화.
• 6) 스탠스 탐지와 봇 탐지 태스크에서 MGTAB 및 기존 데이터셋들에 대해 AB/DT/RF/SVM/GCN/GAT/HGT/S-HGN/BotRGCN/RGT 등 다수의 베이스라인 모델을 평가.

실험 결과

연구 질문

• RQ1 전문가 주석이 달린 스탠스 및 봇 레이블을 Twitter 계정에 대해 단일 그래프 기반 벤치마크에 공동으로 임베딩할 수 있는가?
• RQ2 다중 관계 그래프가 단일 관계 또는 특성 기반 방법에 비해 탐지 성능을 향상시키는가?
• RQ3 동종/이종 그래프 신경망이 스탠스 및 봇 탐지에서 어떤 상대적 성능을 보이는가?
• RQ4 학습 데이터 규모 및 비표본 데이터의 반지도학습 활용 가능성에 따라 성능이 어떻게 확장되는가?
• RQ5 어떤 관계 유형(암묵적 URL/해시태그 동시출현 포함)이 탐지 정확도에 가장 기여하는가?

주요 결과

작업	방법	관계	단일 관계	1+2	3+4+5	1+2+3+4+5+6	참고: 표에 표시된 값은 논문에서 표 변형에 해당합니다
입장	GCN	팔로워	76.7±0.6	76.9±0.6	77.1±0.5	79.1±0.3	다중 관계로 그래프 기반 방법이 개선된다.
입장	GAT	팔로워	77.0±0.5	76.7±0.5	77.1±0.4	77.9±0.4	다수의 관계가 성능을 향상시킨다.
입장	BotRGCN	팔로워	79.1±0.3	76.1±0.4	76.2±0.5	79.2±0.5	다관계 GNN이 다중 관계에서 강력하다.
입장	S-HGN	팔로워	81.2±0.2	80.8±0.2	79.4±0.2	81.7±0.2	이종 모델링으로 강한 베이스라인.
입장	HGT	팔로워	79.1±0.1	79.6±0.2	77.4±0.2	78.7±0.1	관계형 트랜스포머의 효과.
봇	GCN	팔로워	81.2±0.5	84.1±0.7	84.6±0.3	82.5±0.5	관계에서 강력.
봇	GAT	팔로워	81.2±1.5	83.0±1.6	83.3±2.0	78.4±0.9	더 많은 관계에서 관계적 이점.
봇	BotRGCN	팔로워	83.5±0.5	83.2±0.3	82.9±0.2	87.2±0.2	다중 관계에서 탁월한 성능.
봇	S-HGN	팔로워	87.5±0.3	87.3±0.3	87.3±0.3	87.9±0.2	설정 전반에서 최상.
봇	HGT	팔로워	87.1±0.3	87.4±0.4	86.5±0.4	87.2±0.1	강력한 다중 관계 모델링.

• 그래프 기반 방법은 스탠스 및 봇 탐지에서 일반적으로 특성 기반 접근법보다 벤치마크 전반에서 우수하다.
• 이종 GNN은 이질적인 관계 유형의 모델링 이점을 나타내며 동종 GNN보다 일관되게 우수하다.
• 다중 관계를 사용하는 것이 단일 관계보다 다양한 태스크와 데이터셋에서 더 나은 성능을 보인다.
• MGTAB의 봇 및 스탠스 태스크가 다양한 모델에서 높은 정확도/F1을 달성하며(예: 스탠스 Acc 81.2–85.3, 봇 Acc/F1 >87% 일부 데이터셋), 다중 관계 그래프의 이점을 보여준다.
• 더 많은 관계가 성능 향상으로 이어지지만, 해시태그 동시출현과 같은 일부 암묵적 관계는 무작위성이 높아 기여가 상대적으로 적을 수 있다.