[논문 리뷰] Examining a hate speech corpus for hate speech detection and popularity prediction

Filip Klubička, Raquel Fernández|UvA-DARE (University of Amsterdam)|2018. 05. 12.

Hate Speech and Cyberbullying Detection인용 수 8

한 줄 요약

이 논문은 혐오 발언 탐지 및 인기도 예측을 위한 널리 사용되는 트위터 혐오 발언 코퍼스를 철저히 평가하며, 이전 연구의 탐지 결과를 약간 낮은 F1 스코어(0.71 vs. 0.74)로 재현하고, 혐오 발언 트윗이 몇몇 사용자에게 집중되어 있어 탐지 및 인기도 모델에 편향을 주고 있음을 발견한다. 또한 혐오 발언은 좋아요와 댓글에 부정적인 영향을 미치지만 리트윗에는 영향을 주지 않으며, 혐오 발언 트윗만을 모델링할 경우 리트윗 예측 성능이 향상됨을 보여준다.

ABSTRACT

As research on hate speech becomes more and more relevant every day, most of it is still focused on hate speech detection. By attempting to replicate a hate speech detection experiment performed on an existing Twitter corpus annotated for hate speech, we highlight some issues that arise from doing research in the field of hate speech, which is essentially still in its infancy. We take a critical look at the training corpus in order to understand its biases, while also using it to venture beyond hate speech detection and investigate whether it can be used to shed light on other facets of research, such as popularity of hate tweets.

연구 동기 및 목표

• 광범위하게 인용된 트위터 코퍼스를 사용하여 이전 혐오 발언 탐지 결과를 재현하고 검증한다.
• 이 코퍼스가 혐오 트윗의 인기도를 좋아요, 댓글, 리트윗 측면에서 예측하는 데 사용될 수 있는지 조사한다.
• 사용자 분포 및 주석 일관성 측면에서 편향을 드러내기 위해 코퍼스에 대한 정량적 및 정성적 분석을 수행한다.
• 자료 부족과 일시적인 소셜 미디어 콘텐츠로 인해 혐오 발언 연구의 재현 가능성을 평가한다.
• 현재 혐오 발언 데이터셋의 한계를 강조하고, 모델 결과의 더 신중한 해석을 촉구한다.

제안 방법

• 기존 연구와 동일한 모델 아키텍처와 하이퍼파라미터를 사용하여 혐오 발언 탐지 재현을 수행하였다.
• Tweepy API를 활용해 원본 코퍼스에서 트윗과 메타데이터를 추출하였으며, 시간이 지남에 따라 트윗 가용성 변화를 고려하였다.
• 계층 불균형과 사용자 편향을 완화하기 위해 인종차별과 성차별 레이블을 하나의 '혐오 발언' 카테고리로 통합하였다.
• 트윗 텍스트와 메타데이터 특징을 사용하여 좋아요, 댓글, 리트윗 발생 가능성을 예측하기 위한 이진 분류 모델을 훈련시켰다.
• 인기도 예측에 영향을 주는 언어적 및 사회적 특징을 이해하기 위해 특징 중요도 분석을 수행하였다.
• 사용자 수준의 불균형과 주석 일관성에 초점을 맞춘 정량적 및 정성적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 동일한 코퍼스와 방법론을 사용할 때 원본 혐오 발언 탐지 결과의 재현 정도는 어느 정도인가?
• RQ2 이 혐오 발언 코퍼스는 좋아요, 댓글, 리트윗 측면에서 혐오 트윗의 인기도를 예측하는 데 사용될 수 있는가?
• RQ3 코퍼스 내 사용자 수준의 불균형은 혐오 발언 탐지 및 인기도 예측 모델의 일반화 가능성에 어떤 영향을 미치는가?
• RQ4 특히 사용자 분포와 주석 일관성 측면에서 코퍼스 내에 존재하는 편향은 무엇인가?
• RQ5 혐오 발언 트윗만 포함하는 것이 인기도 예측 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 혐오 발언 탐지 재현 결과 F1 스코어는 0.71을 기록하였으며, 원본 연구에서 보고한 0.74보다 약간 낮아, 메서드 설명이 불완전하여 재현에 어려움이 있음을 시사한다.
• 코퍼스는 극도로 심한 사용자 수준의 불균형을 보이며, 5명의 사용자가 전체 혐오 발언 트윗의 80%를 차지하고 있어 대표성에 심각한 제약이 있다.
• 혐오 발언 트윗은 좋아요와 댓글을 받을 가능성이 유의미하게 낮으며, 리트윗 가능성에 대해서는 유의미한 영향을 주지 않는다.
• 혐오 발언 트윗만을 사용해 훈련한 모델이 일반 모델보다 리트윗 예측 성능에서 뛰어나, 혐오 발언 콘텐츠가 고유한 리트윗 가능성 신호를 지닐 수 있음을 시사한다.
• 특징 분석 결과 언어적 혐오 표시, 예를 들어 공격적 어휘와 대상 집단 참조가 좋아요와 댓글 수준의 저하를 강력하게 예측하는 요소로 나타났다.
• 본 연구는 코퍼스가 연구에 여전히 유용하나, 특히 사용자 및 클래스 불균형과 같은 편향을 고려하여 결과를 신중히 해석해야 한다고 결론을 내린다.