[논문 리뷰] The Effect of Extremist Violence on Hateful Speech Online

Alexandra Olteanu, Carlos Castillo외 2명|arXiv (Cornell University)|2018. 04. 16.

Hate Speech and Cyberbullying Detection인용 수 20

한 줄 요약

이 연구는 시계열 자료를 이용한 인과적 추론을 통해 극단주의 폭력—특히 이슬람주의자 및 이슬람 공포증을 가진 공격자들이 일으킨 폭력—이 트위터와 레딧에서의 온라인 혐오 발언에 어떤 영향을 미치는지 분석한다. 연구 결과, 이러한 사건들이 혐오 발언, 특히 폭력적 선동을 심하게 증가시키며, 이는 트위터에서 레딧보다 더 강한 영향을 미친다. 이는 현실 세계의 폭력과 온라인 적대감 사이의 피드백 루프를 드러낸다.

ABSTRACT

User-generated content online is shaped by many factors, including endogenous elements such as platform affordances and norms, as well as exogenous elements, in particular significant events. These impact what users say, how they say it, and when they say it. In this paper, we focus on quantifying the impact of violent events on various types of hate speech, from offensive and derogatory to intimidation and explicit calls for violence. We anchor this study in a series of attacks involving Arabs and Muslims as perpetrators or victims, occurring in Western countries, that have been covered extensively by news media. These attacks have fueled intense policy debates around immigration in various fora, including online media, which have been marred by racist prejudice and hateful speech. The focus of our research is to model the effect of the attacks on the volume and type of hateful speech on two social media platforms, Twitter and Reddit. Among other findings, we observe that extremist violence tends to lead to an increase in online hate speech, particularly on messages directly advocating violence. Our research has implications for the way in which hate speech online is monitored and suggests ways in which it could be fought.

연구 동기 및 목표

• 사회 미디어 플랫폼 전반에서 극단주의 폭력이 온라인 혐오 발언에 미치는 인과적 영향을 정량화하는 것.
• 공격 후 변화하는 혐오 발언의 유형—모욕적, 위협적인, 폭력적 선동—을 분석하는 것.
• 트위터와 레딧 간 외부 폭력 사건에 대한 플랫폼별 반응을 비교하는 것.
• 다차원적 혐오 발언 분류 체계와 대규모 모니터링에 적합한 확장 가능한 어휘집을 개발하는 것.
• 실제 폭력 사건 이후 혐오 발언 급증 패턴을 규명하여 정책 및 플랫폼 대응에 기여하는 것.

제안 방법

• 19개월에 걸쳐 트위터와 레딧에서 1,500만 건 이상의 혐오 발언 메시지로 구성된 종단적 데이터셋을 구축했다.
• 기존의 용어를 반복적으로 확장하여 多국어 혐오 발언 어휘집을 구축했다.
• 4차원 분류 체계를 개발: 대상 집단, 발언자 태도, 심각도(폭력 선동 포함), 메시지 프레임링(예: '원인' 또는 '해결책' 프레임링).
• 시계열 자료에 인과적 추론을 적용하여, 사건 발생 없이도 예측된 상황과 비교해 실제 사건 후 발언 패턴을 분석했다.
• 스케일링과 코딩 품질 확보를 위해 커스터마이징된 커뮤니티 기반의 코딩을 활용해 메시지의 심각도와 프레임링을 주관식으로 분류했다.
• 아랍인과 무슬림을 가해자 또는 피해자로 포함한 13건의 고영향력 공격(베를린, 케베크 시티 공격 포함)을 대상으로 분석했다.

실험 결과

연구 질문

• RQ1 극단주의 공격은 사회 미디어에서 무슬림을 대상으로 하는 혐오 발언의 빈도와 심각도에 어떤 영향을 미치는가?
• RQ2 이슬람주의자 공격과 이슬람 공포증 공격이 트위터와 레딧에서 혐오 발언에 미치는 영향은 어떻게 다를까?
• RQ3 온라인 혐오 발언 패턴이 현실 세계의 폭력과 온라인 적대감 사이의 피드백 루프를 얼마나 잘 반영하는가?
• RQ4 다양한 유형의 공격 후 혐오 발언의 프레임 전략(예: 이민자 추방 요구, 전쟁 선동 등)은 어떻게 다를까?
• RQ5 플랫폼별 규범과 기능적 특성은 폭력 사건 이후 혐오 발언의 표현과 확산 방식에 어떻게 영향을 미치는가?

주요 결과

• 이슬람주의자 테러 공격 후, 레딧에서는 '사회 문제의 원인'으로 프레임된 혐오 발언 어휘가 64.4% 증가했고, 트위터에서는 54.4% 증가했다.
• 이슬람주의자 공격 후, 가장 영향을 많이 받은 트위터 어휘의 25.2%와 레딧 어휘의 7.5%가 '해결책' 프레임을 취해 무슬림이나 아랍인의 금지나 추방을 주장했다.
• 이슬람주의자 공격 후 양 플랫폼에서 폭력적 선동 메시지가 유의미하게 증가했으며, 상위 트위터 어휘의 54.4%와 상위 레딧 어휘의 64.4%가 고심각도 범주에 속했다.
• 이슬람 공포증 공격은 레딧에서 유사한 증가를 유도했으며('원인' 프레임 64.8%, '해결책' 프레임 13.3%), 트위터에서는 덜 두드러진 영향을 보였다('원인' 프레임 59.6%, '해결책' 프레임 22.4%).
• 두 유형의 공격 후 모두 반혐오 발언이 증가했으며, 특히 레딧에서 두드러져 온라인 극단화의 복잡한 상호작용을 시사했다.
• 연구 결과, 트위터는 레딧보다 폭력적 선동 및 해결책 중심 혐오 발언의 증가 폭이 더 크며, 이는 혐오 발언 확산에 플랫폼 특화된 역학이 존재함을 시사한다.