[논문 리뷰] Online Hate: Behavioural Dynamics and Relationship with Misinformation

Matteo Cinelli, Andraž Pelicon외 4명|arXiv (Cornell University)|2021. 05. 28.

Hate Speech and Cyberbullying Detection참고 문헌 38인용 수 9

한 줄 요약

이 연구는 이탈리아 코로나19 영상에 대한 100만 건이 넘는 유튜브 댓글을 분석하여, 미세조정된 딥러닝 모델을 사용해 혐오 발언과 유해 언어를 탐지한다. '연속 혐오자'의 증거는 없지만, 신뢰할 만한 또는 의심스러운 채널에 편향된 사용자들이 대립하는 커뮤니티에 참여할수록 더 유해한 언어를 사용하며, 시간과 댓글 수가 증가할수록 논의의 유해성이 증가하는 경향이 있음을 보여주며, 이는 디지털 형태의 고드윈의 법칙을 뒷받对方하는 바이다.

ABSTRACT

Online debates are often characterised by extreme polarisation and heated discussions among users. The presence of hate speech online is becoming increasingly problematic, making necessary the development of appropriate countermeasures. In this work, we perform hate speech detection on a corpus of more than one million comments on YouTube videos through a machine learning model fine-tuned on a large set of hand-annotated data. Our analysis shows that there is no evidence of the presence of "serial haters", intended as active users posting exclusively hateful comments. Moreover, coherently with the echo chamber hypothesis, we find that users skewed towards one of the two categories of video channels (questionable, reliable) are more prone to use inappropriate, violent, or hateful language within their opponents community. Interestingly, users loyal to reliable sources use on average a more toxic language than their counterpart. Finally, we find that the overall toxicity of the discussion increases with its length, measured both in terms of number of comments and time. Our results show that, coherently with Godwin's law, online debates tend to degenerate towards increasingly toxic exchanges of views.

연구 동기 및 목표

• 유튜브와 같은 주류 소셜미디어 플랫폼에서의 온라인 혐오 발언 행동 역학을 조사하기 위해.
• 오락성 정보 소비와 유해하거나 혐오스러운 언어 사용 간의 관계를 검토하기 위해.
• 오락성 정보 소스에 참여하는 사용자들이 혐오 발언을 더 자주 생성할 가능성이 있는지 확인하기 위해.
• 유해성이 시간이 지남에 따라 어떻게 변화하고, 논의 길이에 따라 어떻게 변화하는지 분석하기 위해.
• '지속적인 연속 혐오자'에 대한 가정을 도전하고, 온라인 유해성에서 에코 챔버의 역할을 탐구하기 위해.

제안 방법

• 70,000건이 넘는 유튜브 댓글을 수작업으로 주석 처리한 데이터셋을 기반으로, 혐오 발언 탐지에 적합한 딥러닝 모델을 미세조정하였다.
• 댓글을 네 가지 유해성 수준으로 분류: 적절함 (0), 부적절함 (1), 모욕적임 (2), 폭력적임 (3).
• 각 논의의 평균 유해성 수준 $ T_d $ 는 개별 댓글의 유해성 점수의 평균으로 계산하였다.
• 선형 회귀 모델을 사용하여, 유해성과 두 가지 시간적 측정치(댓글 수 및 댓글 지연 시간, 영상 업로드 이후 경과 시간) 간의 관계를 검증하였다.
• 이탈리아 AGCOM 규제 기관에서 제공한 목록을 기반으로 유튜브 채널을 '신뢰할 만한'과 '의심스러운'으로 분류하였다.
• 관찰된 경향이 통계적으로 유의미한지 확인하기 위해 실제 데이터를 무작위 레이블 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 유튜브에서 오락성 정보를 소비하는 사용자들이 더 높은 비율로 혐오 발언이나 유해 언어를 표현하는가?
• RQ2 '연속 혐오자'—지속적으로 오직 혐오스러운 콘텐츠만 게시하는 사용자들이 존재하는가?
• RQ3 논의가 시간과 댓글 수가 증가함에 따라 온라인 논의의 유해성이 어떻게 변화하는가?
• RQ4 사용자들이 일반적으로 따라가지 않는 커뮤니티에 참여할 때 더 유해한 언어를 사용하게 되는가?
• RQ5 에코 챔버 효과가 교차 커뮤니티 상호작용에서 유해 언어 사용을 얼마나 강화하는가?

주요 결과

• 연속 혐오자에 대한 증거는 발견되지 않았다—어떤 사용자도 지속적으로 오직 혐오스러운 댓글만 게시하지 않았으며, 이는 혐오 발언이 전문화된 소수 집단의 지속적인 행동이 아니라는 것을 시사한다.
• 신뢰할 만한 뉴스 채널에 충성하는 사용자들이, 대립 커뮤니티에서 댓글을 다룰 때 의심스러운 채널에 충성하는 사용자들보다 평균적으로 더 유해한 언어를 사용했다.
• 논의 길이(댓글 수 기준)와 평균 유해성 수준 사이에 통계적으로 유의미한 양의 상관관계가 존재하며, 이는 랜덤 레이블을 고려한 후에도 유지된다.
• 댓글 지연 시간(영상 업로드 이후 경과 시간)이 증가할수록 유해성도 증가함을 확인하여, 논의가 시간이 지남에 따라 악화되는 경향이 있음을 보여주며, 이는 고드윈의 법칙의 디지털 해석을 지지한다.
• 신뢰할 만한 채널 영상에서의 논의에서, 유해성과 논의 길이 간의 관계는 의심스러운 채널 영상보다 더 강하고 유의미하게 높았다.
• 전반적으로 혐오 발언 비율은 다른 플랫폼보다 약간 높았지만, 신뢰할 만한 채널과 의심스러운 채널 영상의 댓글 간 유의미한 차이는 발견되지 않았다.