[논문 리뷰] HOFA: Twitter Bot Detection with Homophily-Oriented Augmentation and Frequency Adaptive Attention

Sen Ye, Zhaoxuan Tan외 5명|arXiv (Cornell University)|2023. 06. 22.

Spam and Phishing DetectionComputer Science인용 수 3

한 줄 요약

HOFA는 유저가 진짜 사용자를 따라 다니는 방식으로 감춰지는 이질적 위장 전략에 대비해, 동질성 기반 그래프 증강(Homo-Aug)과 주파수 적응형 어텐션 메커니즘(FaAt)을 활용하는 새로운 그래프 기반 트위터 봇 탐지 프레임워크를 제안한다. 이 방법은 세 가지 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하며, 기존의 그래프 기반 및 이질적 기반 기준보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Twitter bot detection has become an increasingly important and challenging task to combat online misinformation, facilitate social content moderation, and safeguard the integrity of social platforms. Though existing graph-based Twitter bot detection methods achieved state-of-the-art performance, they are all based on the homophily assumption, which assumes users with the same label are more likely to be connected, making it easy for Twitter bots to disguise themselves by following a large number of genuine users. To address this issue, we proposed HOFA, a novel graph-based Twitter bot detection framework that combats the heterophilous disguise challenge with a homophily-oriented graph augmentation module (Homo-Aug) and a frequency adaptive attention module (FaAt). Specifically, the Homo-Aug extracts user representations and computes a k-NN graph using an MLP and improves Twitter's homophily by injecting the k-NN graph. For the FaAt, we propose an attention mechanism that adaptively serves as a low-pass filter along a homophilic edge and a high-pass filter along a heterophilic edge, preventing user features from being over-smoothed by their neighborhood. We also introduce a weight guidance loss to guide the frequency adaptive attention module. Our experiments demonstrate that HOFA achieves state-of-the-art performance on three widely-acknowledged Twitter bot detection benchmarks, which significantly outperforms vanilla graph-based bot detection techniques and strong heterophilic baselines. Furthermore, extensive studies confirm the effectiveness of our Homo-Aug and FaAt module, and HOFA's ability to demystify the heterophilous disguise challenge.

연구 동기 및 목표

• 진짜 사용자를 많이 따라 다니는 방식으로 감춰지는 트위터 봇의 증가하는 위협에 대응하기 위해.
• 기존 그래프 기반 봇 탐지 방법의 한계를 극복하기 위해, 동질성 가정에 의존하고 이웃 평균화로 인해 특징 과도 스무딩 문제가 발생하는 문제를 해결하기 위해.
• 모서리 유형에 따라 정보를 적응적으로 필터링할 수 있는 프레임워크를 설계하기 위해 — 동질적 간선에는 저역통과 필터링을, 이질적 간선에는 고역통과 필터링을 적용하기 위해.
• 주파수 적응형 어텐션 메커니즘을 감독하기 위해 가중치 가이드 손실을 도입하여 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 표준 트위터 봇 탐지 데이터셋에서 광범위한 추론 및 벤치마크를 통해 제안된 구성 요소의 효과를 검증하기 위해.

제안 방법

• Homo-Aug는 사용자 표현을 추출하기 위해 MLP를 사용해 k-최근접 이웃(k-NN) 그래프를 계산함으로써 그래프 데이터 증강을 수행하며, 이로 인해 그래프의 동질성이 향상되고 이질적 연결의 영향이 감소한다.
• FaAt 모듈은 동질적 간선에 대해 특징 스무딩을 위한 저역통과 필터링 기능을 수행하는 어텐션 메커니즘을 적응적으로 적용하고, 이질적 간선에 대해서는 이질성을 유지하는 고역통과 필터링을 수행함으로써 봇 특징의 과도 스무딩을 방지한다.
• 어텐션 가중치는 노드 표현 유사도 기반으로 동질적 간선과 이질적 간선을 구분하는 학습 가능한 주파수 응답 함수를 통해 학습된다.
• FaAt 모듈을 감독하기 위해 가중치 가이드 손실(WeGL)을 도입하여, 봇과 진짜 사용자를 구분하는 데 핵심적인 간선에 대해 더 높은 어텐션을 부여하도록 유도한다.
• 프레임워크는 이중 단계 학습 파이프라인을 사용한다: 먼저 Homo-Aug 모듈을 통해 증강된 그래프를 생성하고, 그 다음 FaAt 기반 GNN을 미세 조정하여 최종 봇 분류를 수행한다.
• 사용자 표현은 사전 학습된 언어 모델(PLM)을 사용해 인코딩되며, 최종 GNN 레이어는 주파수 적응형 어텐션 메커니즘을 통해 특징을 집계하여 최종 예측을 생성한다.

Figure 1. An example of heterophilous disguise where a bot account follows a vast majority of genuine users and the suspicious features are smoothed by neighboring genuine users’ normal features.

실험 결과

연구 질문

• RQ1 동질성 가정에 의존함에도 불구하고, 진짜 사용자를 많이 따라 다니는 방식으로 감춰지는 봇(이질적 위장)을 그래프 기반 봇 탐지 모델이 효과적으로 탐지할 수 있는가?
• RQ2 동질성 기반 그래프 증강은 봇 탐지에서 이질적 간선 간섭에 대한 그래프 신경망의 강건성을 얼마나 향상시킬 수 있는가?
• RQ3 주파수 적응형 어텐션 메커니즘은 간선 유형(동질적 대비 이질적)에 따라 필터링 행동을 적응적으로 조정하여 봇 특징의 과도 스무딩을 줄일 수 있는가?
• RQ4 가중치 가이드 손실의 통합은 어텐션 메커니즘이 진짜 계정과 봇 계정을 구분하는 데 얼마나 향상된 능력을 갖출 수 있는가?
• RQ5 제안된 HOFA 프레임워크는 여러 벤치마크 데이터셋에서 기존의 그래프 기반 및 이질적 기반 기준보다 더 잘 일반화되는가?

주요 결과

• HOFA는 TwiBot-20, MGTAB-22, 그리고 다른 이름이 명시되지 않은 한 벤치마크에서 최신 기술(SOTA) 성능을 달성하였으며, TwiBot-20에서 정확도 82.29%와 MGTAB-22에서 88.68%의 성능을 기록하였다.
• 추론 분석 결과, Homo-Aug 모듈을 제거할 경우 TwiBot-20에서 정확도가 0.36% 감소하고 MGTAB-22에서는 0.25% 감소하여, 그래프의 동질성 향상에 있어 이 모듈의 핵심적 역할을 확인하였다.
• FaAt를 일반 어텐션 또는 평균 풀링으로 대체할 경우 MGTAB-22에서 F1 점수가 4.14% 감소하여 주파수 적응형 필터링의 우수성을 입증하였다.
• 가중치 가이드 손실(WeGL)을 제거할 경우 TwiBot-20에서 F1 점수가 0.95% 감소하고 MGTAB-22에서는 0.98% 감소하여, 이 손실이 어텐션 메커니즘의 지도에 효과적임을 입증하였다.
• 봇 간 쌍 간 어텐션 가중치는 일관되게 양수(저역통과 필터링을 나타냄)이며, 봇과 진짜 사용자 간 어텐션 가중치는 음수(고역통과 필터링을 나타냄)로 나타나 FaAt의 적응적 행동이 검증되었다.
• 주의 메커니즘이 진짜 사용자들 사이에 둘러싸여 있더라도 봇의 특징을 유지할 수 있음을 통해, 이질적 위장 전략에 효과적으로 대응함을 입증하였다.

Figure 2. Distribution of bots’ individual homophily and GCN’s accuracy on MGTAB-22 (Shi et al . , 2023a ) .