[논문 리뷰] "Like Sheep Among Wolves": Characterizing Hateful Users on Twitter

Manoel Horta Ribeiro, Pedro Calais외 3명|arXiv (Cornell University)|2017. 12. 31.

Hate Speech and Cyberbullying Detection참고 문헌 30인용 수 37

한 줄 요약

이 논문은 트위터에서 유저 중심의 접근 방식을 통해 활동 패턴, 네트워크 중심성, 언어적 내용을 분석함으로써 미움을 품은 유저를 특성화하는 것을 제안한다. 랜덤 워크 기반 크롤러를 사용해 100,386명의 유저를 샘플링하고, 4,972명의 유저(중 544명이 혐오적)에 대해 커뮤니티 기반으로 애너테이션을 수행한 결과, 혐오적 유저는 더 최근에 생성되었고, 더 활발하며, 리트윗 네트워크에서 더 중심적인 위치를 차지하고 있으며, 높은 부정성과 저격어 사용에도 불구하고 혐오 관련 어휘를 덜 사용하는 것으로 나타났다. 이는 '고립된 야수'라는 전통적 상상과 도전하는 결과이다.

ABSTRACT

Hateful speech in Online Social Networks (OSNs) is a key challenge for companies and governments, as it impacts users and advertisers, and as several countries have strict legislation against the practice. This has motivated work on detecting and characterizing the phenomenon in tweets, social media posts and comments. However, these approaches face several shortcomings due to the noisiness of OSN data, the sparsity of the phenomenon, and the subjectivity of the definition of hate speech. This works presents a user-centric view of hate speech, paving the way for better detection methods and understanding. We collect a Twitter dataset of $100,386$ users along with up to $200$ tweets from their timelines with a random-walk-based crawler on the retweet graph, and select a subsample of $4,972$ to be manually annotated as hateful or not through crowdsourcing. We examine the difference between user activity patterns, the content disseminated between hateful and normal users, and network centrality measurements in the sampled graph. Our results show that hateful users have more recent account creation dates, and more statuses, and followees per day. Additionally, they favorite more tweets, tweet in shorter intervals and are more central in the retweet network, contradicting the "lone wolf" stereotype often associated with such behavior. Hateful users are more negative, more profane, and use less words associated with topics such as hate, terrorism, violence and anger. We also identify similarities between hateful/normal users and their 1-neighborhood, suggesting strong homophily.

연구 동기 및 목표

• 콘텐츠 기반 혐오 발언 탐지의 한계를 해결하기 위해, 이를 위해 소음, 주관성, OSN 데이터의 맥락 문제를 다루기 위함.
• 개별 트윗이 아닌 유저의 특성화가 혐오 발언의 탐지 및 이해에 더 효과적일 수 있는지 탐색하기 위함.
• 트위터에서 혐오적 유저와 정상 유저 간의 활동, 언어적 내용, 네트워크 위치의 차이를 조사하기 위함.
• 혐오적 유저와 정상 유저의 1-이웃 구역을 분석함으로써 동질성 효과(homophily)를 조사하기 위함.

제안 방법

• 랜덤 워크 기반 크롤러를 사용해 리트윗 네트워크에서 100,386명의 트위터 유저로 구성된 하위 그래프를 샘플링함.
• 혐오 관련 어휘 사전과의 어휘 매칭을 기반으로 유저를 잠재적으로 혐오적이라고 판단함.
• 혐오 어휘 유저에서 다양한 거리에 있는 유저를 선별하는 분層 샘플링 전략을 사용해 애너테이션 샘플의 다양성을 확보함.
• CrowdFlower를 사용해 4,972명의 유저를 수동으로 애너테이션 처리하였으며, 애너테이터들은 맥락을 이해하기 위해 전체 유저 프로필을 확인함.
• 감성 및 어휘 분석 도구를 사용해 유저 타임라인에 대한 언어 분석을 수행하여 부정성, 저격어, 주제 관련성 등을 평가함.
• 리트윗 그래프 내에서 혐오적 유저의 글로벌 및 로컬 위치를 평가하기 위해 중심성 지표(예: 중간성, 차수)를 계산함.

실험 결과

연구 질문

• RQ1 혐오적 유저와 정상 유저 간에 관련 속성과 콘텐츠가 유의미하게 다른가?
• RQ2 혐오적 유저는 글로벌 중심성과 로컬 이웃 구조 측면에서 네트워크에서 어떻게 위치해 있는가?
• RQ3 혐오적 유저와 그들의 1-이웃 구역은 행동 및 콘텐츠 측면에서 얼마나 동질성을 보이는가?
• RQ4 혐오적 유저의 언어적 프로파일은 정상 유저와 비교해 볼 때, 혐오 관련 어휘와 정서적 톤 측면에서 어떻게 다른가?

주요 결과

• 혐오적 유저는 정상 유저보다 유의미하게 최근에 계정이 생성되었으며, 중앙값 계정 연령이 상당히 낮다.
• 혐오적 유저는 일일 평균 트윗 수, 일일 팔로잉 수, 좋아요 수가 더 많아 더 높은 참여도를 보인다.
• 혐오적 유저는 리트윗 그래프에서 더 높은 네트워크 중심성을 보이며, 고립된 혐오 행위자라는 '고립의 야수' 신화를 뒤집는 결과를 낳는다.
• 더 높은 부정성과 저격어 사용에도 불구하고, 혐오, 테러리즘, 폭력, 분노와 관련된 어휘를 정상 유저보다 덜 사용한다.
• 혐오적 유저와 정상 유저의 1-이웃 구역은 강한 동질성을 보이며, 그들의 직접적인 사회적 원추 내에서 유사한 행동 및 언어 패턴이 관찰된다.
• 중앙값 혐오적 유저는 리트윗 네트워크에서 더 중심적인 위치를 차지하며, 더 높은 중간성 중심성 지수를 보여 정보 확산에서 더 큰 영향력을 지닌다.