[논문 리뷰] You too Brutus! Trapping Hateful Users in Social Media: Challenges, Solutions & Insights

Mithun Das, Punyajoy Saha외 4명|arXiv (Cornell University)|2021. 08. 01.

Hate Speech and Cyberbullying Detection참고 문헌 47인용 수 7

한 줄 요약

이 논문은 텍스트 특징과 소셜 네트워크 구조를 결합하여 소셜 미디어에서 혐오스러운 사용자를 탐지하는 준지도 학습 그래프 신경망(AGNN) 모델을 제안한다. 라벨이 부여된 데이터가 오직 5%일 때도 최신 기술 수준의 성능을 달성한다. AGNN 모델은 Gab에서 0.791의 매크로 F1 점수를 기록했으며, Twitter에서는 0.780을 기록하여 완전히 지도 학습된 모델들을 능가한다. 또한 혐오스러운 사용자들의 고유한 네트워크 이웃 서명을 학습함으로써 제로샷 크로스플랫폼 설정에서도 효과적으로 일반화된다.

ABSTRACT

This upload contains the labeled Gab data, posts and network described in You too Brutus! Trapping Hateful Users in Social Media: Challenges, Solutions & Insights.

연구 동기 및 목표

• 텍스트 중심의 혐오 발언 탐지 기법의 한계를 보완하기 위해 소셜 네트워크 구조를 통합하여 더 견고한 혐오스러운 사용자 식별을 위한 연구.
• 낮은 데이터 환경에서 그래프 기반 모델이 혐오스러운 사용자 탐지에 얼마나 유용한지 탐색 및 성능 평가.
• 제로샷 설정에서 다양한 플랫폼 간으로 학습된 네트워크 서명의 일반화 능력 분석.
• 학습된 모델을 활용해 Gab 내 커뮤니티에서 혐오 발언과 타깃팅 패턴의 변화를 분석하여 발전 과정에 대한 통찰 제공.
• 향후 연구를 지원하기 위해 Gab에서 423명의 혐오스러운 사용자와 375명의 비혐오스러운 사용자를 포함한 새로운 애너테이션된 데이터셋 공개.

제안 방법

• AGNN 모델은 doc2vec 및 BERT에서 유도된 텍스트 표현과 그래프 임베딩을 그래프 신경망을 통해 통합하며, 이웃 구조에 주목하는 방식으로 작동한다.
• 사용자 노드는 소셜 미디어 프로필에서 생성되며, Gab에서는 팔로워 관계, Twitter에서는 재게재 관계를 엣지로 사용한다.
• 준지도 학습 전략을 적용하여, 텍스트 및 그래프 특징을 동시에 학습하기 위해 오직 5%의 라벨 데이터만 활용한다.
• 주의 메커니즘을 통해 이웃 노드의 중요도를 가중치로 설정함으로써, 혐오스러운 사용자 커뮤니티의 구조적 서명을 포착한다.
• LSTM, GCN, GraphSAGE, 그리고 전통적인 NLP 모델(예: doc2vec + 로지스틱 회귀)과의 다수 기준 모델 대비 평가 수행.
• 학습된 AGNN 모델을 활용해 Gab 전체 데이터셋에 대해 사후 분석을 수행하여 혐오스러운 사용자들의 시간적 추세와 타깃팅 행동을 연구.

실험 결과

연구 질문

• RQ1 제한된 라벨 데이터에서 텍스트와 네트워크 특징을 통합한 그래프 기반 모델이 순수 텍스트 기반 모델보다 혐오스러운 사용자 탐지에서 더 우수한 성능을 보일 수 있는가?
• RQ2 예를 들어 Gab에서 학습한 모델이 제로샷 설정에서 Twitter와 같은 다른 플랫폼으로 일반화될 수 있는가?
• RQ3 혐오스러운 사용자와 비혐오스러운 사용자를 구분하는 데 기여하는 구조적 네트워크 서명은 무엇이며, 이러한 서명은 모델 성능에 어떻게 기여하는가?
• RQ4 혐오스러운 사용자들은 시간이 지남에 따라 어떤 커뮤니티를 타깃으로 삼는가? 그들의 행동에서 드러나는 언어적 및 네트워크 패턴은 무엇인가?
• RQ5 혐오스러운 콘텐츠가 희귀하거나 암호화되어 있을 경우 기존의 NLP 모델은 어느 정도 실패하는가? AGNN 모델은 이러한 상황을 어떻게 극복하는가?

주요 결과

• AGNN 모델은 라벨이 부여된 훈련 데이터의 5%만을 사용하여 Gab 데이터셋에서 매크로 F1 점수 0.791, Twitter 데이터셋에서 0.780을 기록하며, 모든 완전 지도 학습 모델을 능가한다.
• AGNN 모델은 제로샷 크로스플랫폼 설정에서도 효과적으로 일반화되며, 학습된 네트워크 이웃 서명이 플랫폼 간 이식 가능하다는 것을 입증한다.
• 오류 분석 결과, 텍스트 중심 모델인 doc2vec는 사용자 게시물에서 혐오 키워드가 희귀할 경우 실패하는 반면, AGNN는 네트워크 구조를 활용해 이러한 사용자를 정확히 분류한다.
• 혐오스러운 사용자 중 약 50% 이상이 동시에 여러 소수집단을 타깃으로 삼으며, 그 중 '블랙스-유대인' 조합이 가장 자주 타깃으로 지목된다.
• 시간적 분석 결과, 실제 세계의 사건(예: 테러 공격, 집회 등)과 함께 '#BanIslam'이나 '#UniteTheRight'과 같은 혐오스러운 해시태그의 급증이 강하게 상관관계를 보였다.
• 모델은 토머리 로빈슨 같은 극단주의자 지지가 트렌딩 해시태그를 통해 자주 신호됨을 식별하여, 온라인에서의 조직적 동원이 이루어지고 있음을 시사한다.