[논문 리뷰] Hate Raids on Twitch: Echoes of the Past, New Modalities, and Implications for Platform Governance

Catherine Y. Han, Joseph Seering외 3명|arXiv (Cornell University)|2023. 01. 10.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 라이브 스트리밍 플랫폼 트위치에서 발생하는 혐오 레이드—정체성 기반의 공격으로, 라이벌 스트리머들의 채팅을 인종차별적이고 반유대주의적인 메시지로 넘쳐나게 하는 조직적 공격—를 대규모 데이터와 소수의 소외된 스트리머, 도구 개발자들과의 인터뷰를 통해 분석한다. 연구 결과, 대부분의 레이드는 혐오 기반이며 LesGQ+ 및 흑인 스트리머를 대상으로 하지만, 일부는 하위문화적 괴롭힘과 유사한 양상을 보이며, 이에 따라 커뮤니티 주도의 방어 전략이 등장한다. 이는 플랫폼과 커뮤니티 간 협업이 거버넌스에 필수적임을 시사한다.

ABSTRACT

In the summer of 2021, users on the livestreaming platform Twitch were targeted by a wave of "hate raids," a form of attack that overwhelms a streamer's chatroom with hateful messages, often through the use of bots and automation. Using a mixed-methods approach, we combine a quantitative measurement of attacks across the platform with interviews of streamers and third-party bot developers. We present evidence that confirms that some hate raids were highly-targeted, hate-driven attacks, but we also observe another mode of hate raid similar to networked harassment and specific forms of subcultural trolling. We show that the streamers who self-identify as LGBTQ+ and/or Black were disproportionately targeted and that hate raid messages were most commonly rooted in anti-Black racism and antisemitism. We also document how these attacks elicited rapid community responses in both bolstering reactive moderation and developing proactive mitigations for future attacks. We conclude by discussing how platforms can better prepare for attacks and protect at-risk communities while considering the division of labor between community moderators, tool-builders, and platforms.

연구 동기 및 목표

• 트위치에서의 혐오 레이드의 기술적 및 사회적 특성, 특히 소외된 정체성을 겨냥하는 방식을 이해하는 것.
• 혐오 레이드 기간 동안 라이브스트리밍을 하는 라이브스트리머 및 흑인 스트리머의 경험을 살펴보고, 이러한 공격이 그들의 안전과 공동체 의식에 어떤 영향을 미치는지 분석하는 것.
• 스트리머, 커뮤니티 모더레이터, 제3자 도구 개발자가 혐오 레이드에 어떻게 대응했는지 분석하며, 반응적 및 사전 예방적 대응 전략을 파악하는 것.
• 조직적 괴롭힘에 대응할 때 플랫폼, 커뮤니티, 주요 사용자 간의 노동 분담 구조를 분석하고, 플랫폼 거버넌스의 구조적 개선을 제안하는 것.
• 가장 취약한 사용자들의 요구를 우선시하는 상호작용적이고 사용자 중심의 설계를 주장하며, 플랫폼 안전 메커니즘에 통합하는 것.

제안 방법

• 9,664개의 인기 트위치 채널에서 수집한 채팅 데이터를 대규모 정량적 분석하여 메시지 내용과 시간 패턴을 기반으로 혐오 레이드를 탐지하고 특성화하는 것.
• 커뮤니티가 집계한 악성 봇 목록을 활용해 혐오 레이드 활동을 식별하고 필터링함으로써 조직적 공격를 탐지하는 것.
• 혐오 레이드의 정서적, 사회적, 구조적 영향을 이해하기 위해 7명의 라이브스트리머(레즈비언, 게이, 비이성애자 또는 흑인)와 깊이 있는 반구조적 인터뷰를 실시한 것.
• 제3자 봇 개발자 2명과의 인터뷰를 통해 커뮤니티가 개발한 모더레이션 도구의 기술적 설계 및 배포 방식을 분석한 것.
• 정성적 통찰과 정량적 데이터를 융합하여 혐오 레이드의 이중적 양태—혐오 기반 공격과 하위문화적 괴롭힘 행동—를 식별한 것.
• 스트리머 태그를 분석하여 공격자들이 타겟팅된 스트리머의 자가 정의된 커뮤니티 태그(예: 흑인, 라이브스트리머)를 사용해 소외된 커뮤니티를 식별했는지 평가한 것.

실험 결과

연구 질문

• RQ1 RQ1: 혐오 레이드의 근본적 특성은 무엇인가—어떻게 조직되고, 누구를 겨냥하는가?
• RQ2 RQ2: 혐오 레이드는 소외된 공동체의 구성원, 특히 흑인 및 라이브스트리머에게 어떤 영향을 미치는가?
• RQ3 RQ3: 스트리머, 커뮤니티 모더레이터, 도구 개발자 등 다양한 이해관계자들은 혐오 레이드에 어떻게 대응했으며, 어떤 전략이 도출되었는가?
• RQ4 RQ4: 플랫폼은 향후 공격을 방지하기 위해 커뮤니티의 지식과 도구를 거버넌스 모델에 어떻게 더 잘 통합할 수 있는가?
• RQ5 RQ5: 구조적 불평등과 플랫폼 설계는 혐오 레이드를 어떻게 촉진하거나 완화하는가?

주요 결과

• 트위치에서의 혐오 레이드 메시지 98%가 정체성 기반 공격이었으며, 가장 흔한 이데올로기는 반흑인 인종차별과 반유대주의였다.
• 다수의 레이드가 혐오 기반임에도 불구하고 공격자들은 종종 무분별하게 스트리밍을 겨냥했지만, 스트리머 태그(예: 흑인, 라이브스트리머)를 사용해 소외된 공동체를 식별한 증거가 있다.
• 레즈비언, 게이, 비이성애자 및 흑인 스트리머들은 혐오 레이드가 매우 정밀하게, 지속적으로 이루어지며, 때로는 스웨팅과 같은 오프라인 위협까지 포함된 괴롭힘 캠페인의 일부임을 보고했다.
• 커뮤니티는 반응적 모더레이션(예: 묵음, 금지)과 동시에 실시간으로 혐오 콘텐츠를 필터링하는 제3자 봇을 개발하는 등 사전 예방적 대응 전략을 함께 활용했다.
• 세리와 같은 주요 사용자 및 커뮤니티 도구 개발자가 레이드 완화에 핵심적인 역할을 했으며, 이는 플랫폼이 이러한 기여자들과 협의하고 보상해야 한다는 시사점을 제공한다.
• 연구는 거버넌스 격차를 드러냈다: 트위치와 같은 플랫폼은 종종 커뮤니티가 식별한 위협에 대응하지 못해, 지속 가능성이 떨어지는 자율 방어에 의존하게 된다. 이는 제도적 지원이 없이선 성립하지 않는다.