[논문 리뷰] No Easy Way Out: the Effectiveness of Deplatforming an Extremist Forum to Suppress Hate and Harassment

Anh V. Vu, Alice Hutchings외 1명|arXiv (Cornell University)|2023. 04. 14.

Hate Speech and Cyberbullying Detection인용 수 3

한 줄 요약

이 논문은 KIWI FARMS라는 장기간 지속된 극단주의 괴롭힘 포럼에 대해 대규모 산업 주도의 탈플랫폼화 캠페인의 효과성을 조사한다. 여러 기술 기업이 공동으로 플랫폼을 방해하기 시도했음에도 불구하고, 포럼는 트래픽 분산과 대체 도메인, 텔레그램으로의 이전을 통해 빠르게 재편입되었으며, 활동은 일시적으로 50% 감소하는 데 그치고 핵심 사용자들에게는 장기적인 영향을 미치지 못했다.

ABSTRACT

Legislators and policymakers worldwide are debating options for suppressing illegal, harmful and undesirable material online. Drawing on several quantitative data sources, we show that deplatforming an active community to suppress online hate and harassment, even with a substantial concerted effort involving several tech firms, can be hard. Our case study is the disruption of the largest and longest-running harassment forum Kiwi Farms in late 2022, which is probably the most extensive industry effort to date. Despite the active participation of a number of tech companies over several consecutive months, this campaign failed to shut down the forum and remove its objectionable content. While briefly raising public awareness, it led to rapid platform displacement and traffic fragmentation. Part of the activity decamped to Telegram, while traffic shifted from the primary domain to previously abandoned alternatives. The forum experienced intermittent outages for several weeks, after which the community leading the campaign lost interest, traffic was directed back to the main domain, users quickly returned, and the forum was back online and became even more connected. The forum members themselves stopped discussing the incident shortly thereafter, and the net effect was that forum activity, active users, threads, posts and traffic were all cut by about half. Deplatforming a community without a court order raises philosophical issues about censorship versus free speech; ethical and legal issues about the role of industry in online content moderation; and practical issues on the efficacy of private-sector versus government action. Deplatforming a dispersed community using a series of court orders against individual service providers appears unlikely to be very effective if the censor cannot incapacitate the key maintainers, whether by arresting them, enjoining them or otherwise deterring them.

연구 동기 및 목표

• 지속적인 온라인 증오 포럼에 대해 다수 기업이 공동으로 추진한 산업 주도 탈플랫폼화 캠페인의 효과성을 평가하기 위해.
• 기반 인프라 수준의 방해 조치에 직면한 단독 운영 극단주의 포럼의 회복력 이해를 위해.
• 탈플랫폼화의 뜻하지 않은 결과, 즉 트래픽 분산, 대체 플랫폼으로의 이동, 신규 사용자들 사이에서의 독성 증가를 분석하기 위해.
• 민간 부문 주도의 탈플랫폼화가 온라인 증오와 괴롭힘에 대해 비례적이고 효과적이며 법적으로 타당한 대응이 될 수 있는지 평가하기 위해.
• 정부가 사법적 감독 없이도 민간 주도의 콘텐츠 모더레이션에 개입해야 할지, 어떻게 개입해야 할지에 대한 정책적 통찰을 제공하기 위해.

제안 방법

• 2022년 말부터 2023년 초까지 네트워크 수준의 모니터링과 공개 데이터 자료를 활용해 KIWI FARMS의 트래픽, 도메인 사용, 플랫폼 가용성에 대한 종단적 측정을 수행했다.
• DDoS 보호 서비스, 도메인 등록업체, 네트워크 제공업체 등 여러 인프라 제공업체를 통해 캠페인의 영향을 추적했다.
• 트래픽 패턴, 도메인 전환, 텔레그램과 같은 대체 플랫폼으로의 이동을 통해 사용자 행동 변화를 분석했다.
• 캠페인 주변의 공개 소셜 미디어 논의를 수집하고 분석하여 대중의 인식과 여론을 평가했다.
• 캠페인 전, 중, 후의 포럼 활동 변화, 즉 사용자 수, 게시물 수, 스레드 수, 콘텐츠 독성 수준의 변화를 모니터링했다.
• 정성적 및 정량적 데이터를 활용해 사법 기관 또는 경찰의 개입 없이 탈플랫폼화 노력의 장기적 지속 가능성 평가를 수행했다.

실험 결과

연구 질문

• RQ1 여러 기술 기업이 공동으로 추진한 탈플랫폼화 캠페인이 KIWI FARMS의 활동을 얼마나 효과적으로 억제했는가?
• RQ2 포럼의 인프라와 사용자 기반은 방해 조치에 어떻게 반응했는가? 특히 대체 도메인과 플랫폼으로의 이동은 어떻게 이루어졌는가?
• RQ3 방해 조치 기간 동안 및 이후 사용자 참여도, 독성 수준, 커뮤니티 구조에 어떤 변화가 있었는가?
• RQ4 다수 기업 간의 협력이 상당히 강력했음에도 불구하고 탈플랫폼화 노력이 장기적으로 억제 효과를 내지 못한 이유는 무엇인가?
• RQ5 민간 부문 주도의 탈플랫폼화가 표현의 자유, 법적 비례성, 정부의 콘텐츠 모더레이션 역할에 어떤 함의를 지니는가?

주요 결과

• 탈플랫폼화 캠페인으로 인해 포럼 전체 활동이 일시적으로 약 50% 감소했으며, 이는 게시물, 스레드, 활성 사용자 수에 모두 영향을 미쳤지만, 지속 기간은 짧았다.
• 약 87%의 일시적 사용자들이 방해 기간 동안 포럼을 떠났지만, 핵심 사용자 기반의 절반은 여전히 활동적이고 참여하고 있었다.
• 트래픽은 빠르게 분산되었으며, 이전에 포기된 도메인과 텔레그램으로의 이동이 두드러졌고, 텔레그램에서는 활동이 급격히 증가했다.
• 포럼는 몇 주간 간헐적인 장애를 겪었지만, 캠페인의 추진력이 약해진 후 트래픽과 활동이 모두 복구되었고, 주요 도메인에서는 오히려 증가했다.
• 방해 기간 첫 몇 주 동안 신규 사용자들은 독성 수준이 점점 증가하는 경향을 보였으며, 이는 캠페인이 더 극단적인 사용자를 유치했을 가능성을 시사한다.
• 포럼 관리자들은 무력화되지 않았다. 핵심 유지자들에게 사법적 또는 경찰 조치가 취해지지 않은 탓에, 탈플랫폼화 노력은 장기적으로 효과를 내지 못했다.