[논문 리뷰] Countering hate on social media: Large scale classification of hate and counter speech

Joshua Garland, Keyan Ghazi-Zahedi외 3명|arXiv (Cornell University)|2020. 06. 02.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 연구는 수백만 건의 독일어 트위터 트윗에 대해 문단 임bedding과 정규화된 로지스틱 회귀를 활용한 앙상블 학습을 사용하여 혐오 발언과 반발 발언을 대규모로 자동 분류하는 시스템을 제시한다. 높은 F1 스코어(0.76–0.97)를 달성하며, 조직적 반발 발언이 혐오 발언의 극단성과 온라인 대화의 극단화를 크게 감소시키고 균형 잡힌, 극단화되지 않은 논의를 촉진함을 보여준다.

ABSTRACT

Hateful rhetoric is plaguing online discourse, fostering extreme societal movements and possibly giving rise to real-world violence. A potential solution to this growing global problem is citizen-generated counter speech where citizens actively engage in hate-filled conversations to attempt to restore civil non-polarized discourse. However, its actual effectiveness in curbing the spread of hatred is unknown and hard to quantify. One major obstacle to researching this question is a lack of large labeled data sets for training automated classifiers to identify counter speech. Here we made use of a unique situation in Germany where self-labeling groups engaged in organized online hate and counter speech. We used an ensemble learning algorithm which pairs a variety of paragraph embeddings with regularized logistic regression functions to classify both hate and counter speech in a corpus of millions of relevant tweets from these two groups. Our pipeline achieved macro F1 scores on out of sample balanced test sets ranging from 0.76 to 0.97---accuracy in line and even exceeding the state of the art. On thousands of tweets, we used crowdsourcing to verify that the judgments made by the classifier are in close alignment with human judgment. We then used the classifier to discover hate and counter speech in more than 135,000 fully-resolved Twitter conversations occurring from 2013 to 2018 and study their frequency and interaction. Altogether, our results highlight the potential of automated methods to evaluate the impact of coordinated counter speech in stabilizing conversations on social media.

연구 동기 및 목표

• 온라인 논의에서 반발 발언과 혐오 발언을 분류하기 위한 대규모 레이블러가 있는 데이터셋의 부족을 해결하기 위해.
• 소셜 미디어 대화에서 혐오 발언과 반발 발언을 자동으로 규모 있게 식별할 수 있는 방법을 개발하기 위해.
• 시민 주도의 조직적 반발 발언이 극단화와 혐오 발언 감소에 미치는 실제 영향을 평가하기 위해.
• 대규모 트위터 대화 트리에서 혐오 발언과 반발 발언 간의 상호작용 역학을 연구하기 위해.

제안 방법

• 독일의 자가 레이블링된 혐오 발언(Reconquista Germanica) 및 반발 발언(Reconquista Internet) 그룹에서 온 수백만 건의 트윗을 대상으로 인간 검증이 완료된 대규모 트레이닝 데이터셋을 구축하였다.
• 다양한 문단 임베딩 모델을 조합하고 정규화된 로지스틱 회귀를 적용한 앙상블 학습 파이프라인을 활용하여 분류를 수행하였다.
• 전문가가 레이블링한 결과에 대해 70% 신뢰도 기준을 적용하여 대화 트리의 예측 결과를 필터링하고 검증하였다.
• 수천 건의 트윗에 대해 인간 판단과 비교하여 분류기 예측을 커스터마이징된 컨소시엄을 통해 검증하였다.
• 일반화 및 신뢰성 확보를 위해 샘플 외 테스트 세트를 사용하여 모델을 훈련하고 평가하였다.
• 135,000건 이상의 완전히 해결된 트위터 대화 트리 분석을 통해 혐오 발언과 반발 발언의 시간적 역학을 연구하였다.

실험 결과

연구 질문

• RQ1 제한된 레이블러 데이터를 바탕으로 자동 분류가 대규모로 혐오 발언과 반발 발언을 신뢰성 있게 식별할 수 있는가?
• RQ2 조직적 반발 발언의 존재가 온라인 대화에서 혐오 발언의 빈도와 극단성에 어떤 영향을 미치는가?
• RQ3 시간이 지남에 따라 대화 스레드 내에서 혐오 발언과 반발 발언 간의 상호작용은 어떻게 변화하는가?
• RQ4 반발 발언은 조직적 개입 이후 더 많은 반발 발언과 더 적은 혐오 발언을 유도하는가?
• RQ5 조직적 반발 발언이 온라인 논의의 극단화를 어느 정도 완화하는 데 기여하는가?

주요 결과

• 분류기는 샘플 외, 균형 잡힌 테스트 세트에서 매크로 F1 스코어 0.76에서 0.97 사이를 기록하여 높은 정확도와 신뢰성을 입증하였다.
• 커스터마이징된 컨소시엄을 통해 분류기 판단이 수천 건의 레이블러 트윗에 대해 인간 판단과 매우 유사함을 확인하였다.
• 2018년 4월에 조직적 반발 발언 그룹(RI)이 창립된 후, 대화에서 혐오 발언 비율은 감소하고 반발 발언 비율은 증가하였다.
• RI 창립 이후 반발 발언은 추가적인 반발 또는 중립 발언을 더 많이 유도하고, 추가 혐오 발언을 억제하는 데 더 효과적이었다.
• 대화 스레드 내에서 조직적 반발 발언 트윗은 비조직적 응답보다 더 많은 반발 또는 중립 발언을 유도하고, 더 적은 혐오 발언을 포함하였다.
• 연구 결과, 반발 발언이 개인적 논의의 극단화를 완화하는 데 기여하였으며, 중립 또는 레이블 미부여 발언이 발생할 가능성을 높였다.