[논문 리뷰] Heterogeneity-aware Twitter Bot Detection with Relational Graph Transformers

Shangbin Feng, Zhaoxuan Tan외 2명|arXiv (Cornell University)|2021. 09. 07.

Misinformation and Its Impacts인용 수 11

한 줄 요약

이 논문은 관계 및 영향의 이질성을 모델링하기 위해 관계 기반 그래프 트랜스포머를 사용하는 이질성 인식 Twitter 봇 탐지 프레임워크를 제안한다. 이질적 정보 네트워크를 구성하고 관계 기반 그래프 트랜스포머에서 다중 헤드 어텐션을 활용함으로써, 표현 학습의 향상과 데이터 희소성에 대한 강건성으로 인해 기존의 그래프 기반 및 비그래프 기반 접근법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Twitter bot detection has become an important and challenging task to combat misinformation and protect the integrity of the online discourse. State-of-the-art approaches generally leverage the topological structure of the Twittersphere, while they neglect the heterogeneity of relations and influence among users. In this paper, we propose a novel bot detection framework to alleviate this problem, which leverages the topological structure of user-formed heterogeneous graphs and models varying influence intensity between users. Specifically, we construct a heterogeneous information network with users as nodes and diversified relations as edges. We then propose relational graph transformers to model heterogeneous influence between users and learn node representations. Finally, we use semantic attention networks to aggregate messages across users and relations and conduct heterogeneity-aware Twitter bot detection. Extensive experiments demonstrate that our proposal outperforms state-of-the-art methods on a comprehensive Twitter bot detection benchmark. Additional studies also bear out the effectiveness of our proposed relational graph transformers, semantic attention networks and the graph-based approach in general.

연구 동기 및 목표

• 기존의 Twitter 봇 탐지 방법들이 사회 네트워크 내의 관계 및 영향의 이질성을 간과하는 데서 비롯하는 한계를 해결하기 위해.
• 다양한 상호작용 유형(예: 재게재, 좋아요, 차단)과 사용자 간 영향 강도의 다양성을 모델링하여 봇 탐지 성능을 향상시키기 위해.
• 이질적 정보 네트워크 구축과 어텐션 기반 메시지 전파를 통합한 엔드 투 엔드 그래프 기반 프레임워크를 개발하기 위해.
• 관계 기반 그래프 트랜스포머와 의미 어텐션 네트워크가 미세한 봇 유사 행동을 포착하는 데 효과적인지 검증하기 위해.
• 제한된 레이블 및 특징 가용성 조건 하에서의 데이터 효율성과 표현 품질 평가하기 위해.

제안 방법

• 사용자를 노드로, 다양한 사회적 상호작용(예: 재게재, 댓글, 차단)을 레이블이 부여된 간선으로 하는 이질적 정보 네트워크(HIN)를 구축하기 위해.
• 다양한 영향 강도를 모델링하기 위해 다중 헤드 자기어侁션을 사용하는 관계 기반 그래프 트랜스포머를 제안하여 관계별로 특화된 어텐션 가중치를 학습하기 위해.
• 사용자 간 및 관계 간 메시지를 집계하기 위해 의미 어텐션 네트워크를 통합하여 맥락 인식 표현 학습을 가능하게 하기 위해.
• 레이블이 부여된 Twitter 데이터셋을 사용하여 지도 학습을 통해 계정을 봇 또는 진짜 사용자로 분류하기 위해 모델을 훈련시키기 위해.
• 관계 기반 그래프 트랜스포머에서 유도된 노드 표현을 최종 분류기의 입력으로 활용하여 봇 탐지 수행하기 위해.
• 모델 결정의 해석과 설계 선택의 타당성을 검증하기 위해 추론 실험 및 시각화 기법(예: t-SNE, 어텐션 가중치 분석)을 적용하기 위해.

실험 결과

연구 질문

• RQ1 다양한 상호작용 유형(예: 재게재 대비 차단)을 포함한 관계 이질성을 모델링하면 Twitter 봇 탐지 성능이 향상되는가?
• RQ2 어侁션 메커니즘을 통해 영향의 이질성을 통합하면 모델이 봇 클러스터와 조작된 행동을 탐지하는 데 능력이 향상되는가?
• RQ3 탐지 정확도, 강건성, 데이터 효율성 측면에서 제안된 프레임워크는 최신 기술 수준의 방법과 어떻게 비교되는가?
• RQ4 관계 기반 그래프 트랜스포머의 어텐션 가중치가 봇 행동과 사용자 영향에 의미 있는 패턴을 반영하는가?
• RQ5 학습 데이터 감소 또는 사용자 특징 마스킹과 같은 데이터 희소성 상황에서도 모델이 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 종합적인 Twitter 봇 탐지 벤치마크에서 최신 기술 수준의 기준선을 일관되게 능가하여 뛰어난 탐지 정확도를 입증한다.
• 추론 실험 결과, 관계 기반 그래프 트랜스포머와 의미 어텐션 네트워크 모두 필수적임을 확인하였으며, 단일 헤드 또는 비어텐션 버전 대비 다중 헤드 어텐션의 성능 향상이 뚜렷하다.
• 학습 데이터의 최소 40%만으로도 높은 성능를 달성하여 데이터 효율성과 레이블 부족에 대한 강건성을 입증한다.
• 어텐션 가중치의 시각화 결과, 조작된 클러스터 내 봇들은 상호 영향도가 높은 경향을 보이며, 이는 모델이 집단 기반 봇 행동을 탐지할 수 있음을 확인한다.
• t-SNE 시각화 결과, 기준선 대비 진짜 사용자와 봇에 대해 더 분리되고 구분력 있는 표현을 학습함을 확인하였다.
• 여러 시행의 첫 번째, 두 번째, 세 번째 사분위수에서 뚜렷한 성능 향상을 보이며, 다양한 데이터 분할에서 일관되고 신뢰할 수 있는 탐지 성능을 유지를 함을 보였다.