[논문 리뷰] Author Profiling for Hate Speech Detection

Pushkar Mishra, Marco Del Tredici외 2명|arXiv (Cornell University)|2019. 02. 14.

Hate Speech and Cyberbullying Detection참고 문헌 31인용 수 12

한 줄 요약

이 논문은 사회적 네트워크 임베딩에서 유도된 커뮤니티 기반 저자 프로파일링 특징을 기존 딥러닝 모델에 통합하는 혁신적인 혐오 발언 탐지 접근법을 제안한다. node2vec을 활용해 커뮤니티 구조를 반영하는 저차원 저자 임베딩을 생성함으로써, 인종차별 및 성차별을 포함한 16,000건의 트윗으로 구성된 데이터셋에서 최첨단 기준을 크게 초월하는 성능을 보이며, 어휘적 및 의미적 단서 외에도 사회적 네트워크 맥락이 탐지 성능 향상에 기여함을 입증한다.

ABSTRACT

The rapid growth of social media in recent years has fed into some highly undesirable phenomena such as proliferation of abusive and offensive language on the Internet. Previous research suggests that such hateful content tends to come from users who share a set of common stereotypes and form communities around them. The current state-of-the-art approaches to hate speech detection are oblivious to user and community information and rely entirely on textual (i.e., lexical and semantic) cues. In this paper, we propose a novel approach to this problem that incorporates community-based profiling features of Twitter users. Experimenting with a dataset of 16k tweets, we show that our methods significantly outperform the current state of the art in hate speech detection. Further, we conduct a qualitative analysis of model characteristics. We release our code, pre-trained models and all the resources used in the public domain.

연구 동기 및 목표

• 커뮤니티 기반 저자 프로파일링이 전통적인 텍스트 특징을 초월해 혐오 발언 탐지 성능을 향상시키는지 조사하는 것.
• 유사성 원리(homophily)와 온라인 커뮤니티가 혐오적 언어 패턴 형성에 미치는 역할을 탐색하는 것.
• 사용자 네트워크 구조를 딥러닝 모델과 융합하여 향상된 탐지 성능을 달성하는 방법을 개발하고 평가하는 것.
• 재현 가능성과 향후 연구를 지원하기 위해 코드, 사전 학습된 모델 및 데이터셋을 공개하는 것.

제안 방법

• 16,000건의 트윗 데이터셋에서 리트윗 및 언급 관계를 기반으로 방향성 있는 트위터 저자 그래프를 구축하였다.
• 각 저자의 커뮤니티 소속성과 사회적 구조를 반영하는 저차원 밀집 임베딩을 학습하기 위해 node2vec을 적용하였다.
• 기본 혐오 발언 분류기(로지스틱 회귀 및 RNN 기반 모델 포함)에 저자 임베딩을 추가 특징으로 통합하였다.
• 인증된 인종차별 및 성차별 레이블을 기반으로 5겹 교차검증 설정을 사용해 모델을 훈련하고 평가하였다.
• 저자 임베딩의 시각화를 위해 t-SNE를 사용하였으며, 클러스터가 유사한 언어적 행동을 보이는 커뮤니티에 대응하는지 검증하였다.
• 오염된 또는 악성 링크를 포함한 트윗의 오분류 문제를 해결하기 위해 URL 블랙리스트를 유지하였다.

실험 결과

연구 질문

• RQ1 특정 온라인 커뮤니티에 속한 저자일수록 혐오 발언을 더 많이 생성할 가능성이 높은가?
• RQ2 커뮤니티 기반 저자 프로파일링 특징이 혐오 발언 탐지 시스템의 성능 향상에 기여하는가?
• RQ3 사회적 네트워크에서 유도된 저자 임베딩은 순수 어휘적 또는 의미적 특징에 비해 혐오 발언 탐지에서 어떻게 성능을 발휘하는가?
• RQ4 프로파일링 특징이 추가된 후에도 여전히 오분류되는 혐오 콘텐츠의 유형은 무엇인가?

주요 결과

• node2vec에서 유도된 저자 임베딩의 추가로, 순수 텍스트 특징만을 사용하는 최첨단 기준 대비 혐오 발언 탐지 성능이 크게 향상되었다.
• 인종차별 및 성차별을 포함한 16,000건의 트윗 데이터셋에서 최첨단 성능을 달성하였으며, 이는 분류 과정에서 사회적 네트워크 구조의 가치를 입증한다.
• 저자 임베딩의 시각화 결과, 특히 성차별 클래스에서 혐오 발언을 자주 게재하는 사용자 커뮤니티에 대응하는 조밀한 클러스터가 확인되었다.
• 성능 향상에도 불구하고, 'c*nt'와 같은 변형된 단어나 악성 콘텐츠를 포함한 단순화된 URL을 포함한 트윗은 여전히 오분류되는 경향이 있었으며, 이는 현재 탐지 전략의 한계를 시사한다.
• 이 연구는 혐오 발언에 쉽게 빠지기 쉬운 사용자들이 일관된 온라인 커뮤니티를 형성하는 경향이 있음을 확인하였으며, 온라인 논의에서 유사성 원리의 관련성을 입증한다.